統計学: 尤度推定量、最小二乗法
統計学なのですが、悩んでいるところは 微分の極値問題 なので 微分ができる方にも
アドバイスをお願いしたいです。
さて、問題ですが
L = - Σ（i=1->n)(Yi - θ*Xi)^2/(2*σ^2) - (n/2)ln(2*π*σ^2) を最大化するθ,σ^2を求め、
そのθとσ^2がLを最大化していることを示せ。という問題です。
ただし X1,X2,...,Xn と Y1,Y2,...,Yn は定数扱い。 また θ>= 0 , n は自然数,σ^2 > 0 です。
もとは 統計学の問題で
線形回帰モデル Yi = θ*Xi + εi ,εi は 正規分布 N(0,σ^2) に従う。 を考えたとき
θとσ^2の最尤推定量を求め、その推定量が尤度を最大化していることを証明せよ。
という問題で
(対数)尤度L を計算すると
L = - Σ（i=1->n)(Yi - θ*Xi)^2/(2*σ^2) - (n/2)ln(2*π*σ^2)
となり、 あとは極値問題を解くだけというところから 分からなりました。
この先、私が考えたのは
∂L/∂(σ^2) =0 かつ ∂L/∂θ =0 を満たす θ,σ^2 を求めること(grad(L)を導出)
前者は σ^2 = Σ(Yi-θ*Xi)^2 /n
後者は Σ(Yi-θ* Xi)*Xi = 0
という 形に変形できたのですが、
後者の式をこれ以上 くずせませんでした。
ここでアドバイスがほしいのです。
統計、もしくは解析ができる方、アドバイスをいただけないでしょうか。
文が長くなってしまいましたが、よろしくお願いします。
お礼
観測データ（x1,x2....xi)あって， ある確率密度関数f(x)のパラメータθのｆθ(x)とすると， 観測データが独立であれば，その同時確率は積になり，これを尤度とする。という意味でしょうか？ 独立の場合は、 同時確率＝尤度＝fθ(x1)×fθ(x2)×....×fθ(xi) 何となくわかるのですが，同時確率が最大（尤度が最大）となるのが，どうして最も尤もらしいモデルということになるのでしょうか？ 初歩的なことで申し訳ありません（何となくわかるのですが。。。。）