統計学: 尤度推定量、最小二乗法
- 統計学での微分の極値問題に悩んでいる方へのアドバイスをお願いします。
- 尤度推定量と最小二乗法について、統計学の問題を解説します。
- 統計学の問題において、θとσ^2の最尤推定量を求める方法についてのアドバイスをお願いします。
- ベストアンサー
統計学: 尤度推定量、最小二乗法
統計学なのですが、悩んでいるところは 微分の極値問題 なので 微分ができる方にも アドバイスをお願いしたいです。 さて、問題ですが L = - Σ(i=1->n)(Yi - θ*Xi)^2/(2*σ^2) - (n/2)ln(2*π*σ^2) を最大化するθ,σ^2を求め、 そのθとσ^2がLを最大化していることを示せ。という問題です。 ただし X1,X2,...,Xn と Y1,Y2,...,Yn は定数扱い。 また θ>= 0 , n は自然数,σ^2 > 0 です。 もとは 統計学の問題で 線形回帰モデル Yi = θ*Xi + εi ,εi は 正規分布 N(0,σ^2) に従う。 を考えたとき θとσ^2の最尤推定量を求め、その推定量が尤度を最大化していることを証明せよ。 という問題で (対数)尤度L を計算すると L = - Σ(i=1->n)(Yi - θ*Xi)^2/(2*σ^2) - (n/2)ln(2*π*σ^2) となり、 あとは極値問題を解くだけというところから 分からなりました。 この先、私が考えたのは ∂L/∂(σ^2) =0 かつ ∂L/∂θ =0 を満たす θ,σ^2 を求めること(grad(L)を導出) 前者は σ^2 = Σ(Yi-θ*Xi)^2 /n 後者は Σ(Yi-θ* Xi)*Xi = 0 という 形に変形できたのですが、 後者の式をこれ以上 くずせませんでした。 ここでアドバイスがほしいのです。 統計、もしくは解析ができる方、アドバイスをいただけないでしょうか。 文が長くなってしまいましたが、よろしくお願いします。
- ilnmfay
- お礼率75% (137/181)
- 数学・算数
- 回答数1
- ありがとう数0
- みんなの回答 (1)
- 専門家の回答
質問者が選んだベストアンサー
後者からθを陽に表せというだけなら、 Σ(Yi-θ* Xi)*Xi = 0 ⇔ ΣXiYi-θΣXi^2= 0 ⇔ θ=ΣXiYi/ΣXi^2 となるのですが…
関連するQ&A
- 最小二乗法について
最小二乗法では二乗和の誤差 Σ[i=1~n]{Yi-(α+βXi )}^2 (iは添え字です) を最小化するα,βを推定することを考えますが、 これは単純にα,βで偏微分してそれを0とおいて 連立方程式を解くだけでよいのですか? といいますのも、2変数関数の極値を求める場合、 Hessianを計算して判別しますよね? ただ一階偏導関数が0になるからといって、 そこで極値をとるとは限らない気がしたので… それとも最小二乗法の場合は必ずとるようになっているのでしょうか? 手元の本には、 「この二乗和は非負値なので、αとβで偏微分したものを0とするα,βが上式を最小にする値である」 とあるのですが、一般に非負値だとこの ようなことが言えるのでしょうか?
- ベストアンサー
- 数学・算数
- 最小二乗法のn次曲線について
最小二乗法のn次曲線について Pn(x)=anx^n+an-1x^(n-1)+……+a1x+a0 の時、最小二乗誤差E2は、 E2=Σ(i=1,m)(yi-Pn(xi))^2 =Σ(i=1,m)yi^2-2Σ(i=1,m)Pn(xi)yi+Σ(i=1,m)(Pn(xi))^2 =Σ(i=1,m)yi^2-2Σ(i=1,m)(Σ(j=0,n)ajxi^j)yi+Σ(i=1,m)(Σ(j=0,n)ajxi^j)^2 ここまではわかるんですが、次の式になる理由が分りません。 E2=Σ(i=1,m)yi^2-2Σ(j=0,n)aj(Σ(i=1,m)yixi^j)+Σ(j=0,n)ajΣ(k=0,n)ajak(Σ(i=1,m)xi^(j+k)) 一番後ろの項Σ(j=0,n)ajΣ(k=0,n)ajak(Σ(i=1,m)xi^(j+k))はどうやったらでてくるんでしょうか? なんでいきなりkがでてくるんでしょうか? jとiの組を2乗してるんだからkというのがでてくるのは変だとおもうんですが、どういう考え方なんでしょうか?
- ベストアンサー
- 数学・算数
- 最小二乗法について
最小二乗法について 最小二乗誤差E2は、 E2=Σ(i=1,m)yi^2-2Σ(j=0,n)aj(Σ(i=1,m)yixi^j)+Σ(j=0,n)ajΣ(k=0,n)ajak(Σ(i=1,m)xi^(j+k)) とする時、 ∂E2/∂aj=-2Σ(i=1,m)yixi^j+2Σ(k=0,n)akΣ(i=1,m)xi^(j+k) ですが。 一番後ろの項Σ(j=0,n)ajΣ(k=0,n)ajak(Σ(i=1,m)xi^(j+k))の偏微分が2Σ(k=0,n)akΣ(i=1,m)xi^(j+k)になる理由が分りません。 分りやすい説明をお願いします。
- ベストアンサー
- 数学・算数
- 対数尤度からのパラメター推定
式(1)の対数尤度から未知数を推定するためにパラメターxで偏微分すると式(2)になるようなのですが、式(1)から(2)への過程を解説していただけますでしょうか。 logL(x|y,s^2) = Sigma(i=1 to n)logP([y-fx]/s) (1) d log(x|y,s^2) ----------- = Sigma(i=1 to n) (Aij/s)W(v/s) (2) d x Aij はヤコビアン係数W df/dx(偏微分)、vは残差 関数W(z)は W(z) = -dlogP(z)/dz よろしく御願いいたします。
- ベストアンサー
- 数学・算数
- 不偏推定量:平均二乗誤差
不偏推定量に対して、平均二乗誤差を求める問題で 計算に困っています。 データX1,X2,...,Xnがとある分布から独立に得られています。 ここでパラメータλに対する 不偏推定量 T1=(1/n)Σ(i=1~n)Xiにおいて平均二乗誤差を求める。 平均二乗誤差 =E((T1-λ)^2) =E(((1/n)ΣXi -λ)^2) =E((1/n)^2*(ΣXi-nλ))^2) =(1/n)^2* E((Σ(Xi-λ))^2) ここまではいいのですが E((Σ(Xi-λ))^2)をうまく処理できません。 授業では E((Σ(Xi-λ))^2)=Σ(E((Xi-λ)^2)と処理していたようなのですが、 どうしてもこの式が同値であることに納得いきません。 E((Σ(Xi-λ))^2) = E(Σ(Xi-λ)) * E(Σ(Xi-λ)) = Σ(E(Xi-λ)) * Σ(E(Xi-λ)) = (Σ(E(Xi-λ)))^2 なら 納得いくのですが…これではこの先計算できないなぁと困っている次第です。 もしよろしければ アドバイスをください。よろしくお願いします
- ベストアンサー
- 数学・算数
- 最少二乗推定量の共分散Cov(αハット,βハット)
最少二乗推定量の共分散Cov(αハット,βハット)の計算について教えてください。 ☆ci=(xi-xバー)/[i=1,n]Σ(xi-xバー)^2 ☆xバー=1/n*[i=1,n]Σxi ☆E(αハット)=α ☆E(βハット)=β ☆誤差項εiの分散はσ^2 とするとき・・・・・ Cov(αハット,βハット) =Cov(α+[i=1,n]Σ(1/n-ci*xバー)*εi,β+[i=1,n]Σci*εi)・・・(i) =Cov([i=1,n]Σ(1/n-ci*xバー)*εi,[i=1,n]Σci*εi)・・・(ii) =E(([i=1,n]Σ(1/n-ci*xバー)*εi)*([i=1,n]Σci*εi))・・・(iii) =E([i=1,n]Σ(1/n-ci*xバー)*ci*εi^2)・・・(iv) =[i=1,n]Σ(1/n-ci*xバー)*ci*E(εi^2)・・・(v) =σ^2*[i=1,n]Σ(1/n-ci*xバー)*ci・・・(vi) =(-xバー*σ^2)/[i=1,n]Σ(xi-xバー)^2・・・(vii) こうやって計算するみたいんですが、 計算式の(ii),(iii),(vi),(vii)がどうしてそうなるのかわかりません。 どなたか、わかりやすく教えてください!!!
- ベストアンサー
- 数学・算数