尤度関数です。

質問

確率変数X1,X2,…,Xnが独立に同一の成功の確率Pを持つベルヌイ分布に従うとき

(1)n=5,X1=1,X2=0,X3=0,X4=1,x5=1であるとき、Pの推定値を1つ挙げ、その理由を答えよ。

解)
　Xiの期待値E[Xi]をn個の実測値から求めた標本平均で推定するとする

　　Pの推定値=1/n(X1+X2+X3+…+Xn)
=3/5

(2)尤度関数を作成し、それを最大化することによって、最尤推定量を計算せよ。

解)
　L(P)=p×(1-p)×(1-p)×p×p
=p^3(1-p)^2
dL(P)/dp=3p^2(1-p)^2+P^3×2(1-p)(-1)
=p^2(1-p)(3-5p)
dL(P)/dp=0として
　　　　p=3/5
よって最尤推定量は3/5

(3)上と同様にしてV(Xi)の最尤推定量を求めよ。また、この推定量が不偏推定量かそうでないかを調べよ。

(2)までは何とか解けました。(合っているかはわからないので間違っていた場合はご指摘ください)(3)の問題の尤度関数はどのように立てればいいのでしょうか？ご教授願います。

回答No.2

solla · ベストアンサー

> 尤度関数が
>
> L(P) = P ^ ΣXi・(1-P) ^ (n - ΣXi)
>
> というはじめの式が立つ理由が曖昧です。

質問者さんがご自身の解答の中で、

> 　L(P)=p×(1-p)×(1-p)×p×p

（ = P^3・(1-P)^2 ）とされたのと全く同じで、P を（成功回数）回と (1-P) を（不成功回数）回、掛け合わせただけです。Xi は、成功 = 1、不成功 = 0 ですから、ΣXi は n 回の試行のうち成功回数を、(n - ΣXi) は不成功回数を表すことに注意してください。

お礼

ご教授ありがとうございます。

「ΣXi は n 回の試行のうち成功回数を、(n - ΣXi) は不成功回数を表す」
というところが疑問でしたがよく理解できました。
ありがとうございました。

ご丁寧なご指導本当にありがとうございました！

回答No.1

solla

まずベルヌーイ分布に従う Xi において

E(Xi) = P, V(Xi) =P(1-P)

以下、一般的に Xi, i = 1, 2, …, n の場合を考えます。具体的数値は代入して求めてみてください。

(1)

> Pの推定値を1つ挙げ、その理由を答えよ。

とありますから、標本平均の期待値が P になる事（不偏推定量であること）を示さなければなりません。

E( (1/n) ΣXi ) = (1/n) ΣE(Xi) = (1/n)・nP = P

(2)

尤度関数は

L(P) = P ^ ΣXi・(1-P) ^ (n - ΣXi)

対数尤度関数は

l(P) = ln(L) = ΣXi・ln(P) + (n - ΣXi)・ln(1-P)

となるので、

dl(P)/dP = (ΣXi)/P - (n - ΣXi)/(1-P) = 0

として解けば、

P の最尤推定量 = P_MLE = ΣXi / n

(3)

尤度方程式を解いて求められるのは分布のパラメータに関する最尤推定量（この場合はP）だけです。

最尤推定量は母数の変換に関して不変なのを利用して（不偏推定量は違います）、

V(Xi) = P(1-P)　の最尤推定量 = P_MLE・(1-P_MLE) = (ΣXi / n) (1 - (ΣXi / n) )

これが不偏推定量にもなっているかどうかを確認するため、期待値を求めます。

E( (ΣXi / n)(1 - (ΣXi / n) ) )
　= (1/n^2) E( n・ΣXi - ΣΣXj・Xk )
　= (1/n^2) E( n・ΣXi - ΣXi^2 - ΣΣXj・Xk )　（第3項は j ≠ k について和をとる）

ここで、

E(Xi^2) = 1^2・P + 0^2・(1-P) = P

また、( Xj, Xk ) ( j ≠ k ) の同時確率が

( 0, 0 ) → (1-P)^2
( 0, 1 ) → P(1-P)
( 1, 0 ) → P(1-P)
( 1, 1 ) → P^2

であることに注意すれば、j ≠ k のとき

E(Xj・Xk) = 0・0・(1-P)^2 + 2・0・1・P(1-p) + 1・1・P^2 = P^2

であるから、上の式から続いて

　= (1/n^2) ( n^2・P - nP - (n^2 - n)・P^2 )

となり、整理すれば結局、

E( (ΣXi / n)(1 - (ΣXi / n) ) ) = (n-1)/n・P(1-P) ≠ P(1-P)

従ってV(Xi)の最尤推定量は不偏ではない。

以上、特に (3) は力技で出しましたが、もしかするともっとエレガントな方法があるかもしれません。識者の回答をお待ちください。

お礼

早速のご回答ありがとうございます。
(1)に関してはよくわかりました。
問題文の確率変数x1,x2,x3,....xnが独立に同一の成功の確率Pをもつ
ということから
　　　　　E(x1)=E(x2)=......=E(xn)=pとなるのですね？

(2)の問題ですがベルヌーイ分布の尤度関数は立てたことがないです。
(正規分布とポアソン分布については理解しました。)

尤度関数が

L(P) = P ^ ΣXi・(1-P) ^ (n - ΣXi)

というはじめの式が立つ理由が曖昧です。
(その後の式の変形・解き方は大丈夫です。)

詳しく教えていただけないでしょうか？

よろしくお願いいたします。