AICの式変形について

質問

AICについて
http://tswww.ism.ac.jp/kawasaki/nagoya2001summer/sld082.htm
を参考に勉強し続けているのですが、AIC導出に関する以下の式変形の仕方が分かりません。

【１】
　　1/N ΣEx[log　f(xn|θo)]
＝　Ex[log　f(X|θo)]・1/N・N

まずこの箇所なのですが、なぜ「Ｎ」倍がでてくるのでしょうか？

【２】
　　Ey[log　f(y|θo)] - Ex[log　f(X|θo)]・1/N・N
＝　Ey[log　f(y|θo)] - Ex[log　f(X|θo)]　------------　α
＝　０

αの箇所なのですが、
Ey[log　f(y|θo)]は、将来観測されるであろうサンプルｙの確率モデルf(y|θo)の分布yについての期待値で、
Ex[log　f(X|θo)]は、標本Xの同時分布xに関する期待値である
と自分の中では理解しているのですが、これがなぜ等しくなるのか分かりません。

以上の【１】と【２】についてが疑問です。
何日も考えたのですが、理解できません。
詳しい解説を御教授ください。お願いします。

回答No.1

rabbit_cat · ベストアンサー

なんか難しく考えすぎです。

【１】Ｎ個おんなじモノを足したからＮ倍になったって言ってるだけです。
xnは独立に同じ分布g(x)に従うi.i.d.なんで、
Ex[log f(x1|θo)] = Ex[log f(x2|θo)] = … = Ex[log　f(X|θo)]
です。

【２】ですが、標本Ｘ自体は、（未知の）真の分布g(x)に従って出てきたものですし、ｙも同じ分布g(y)に従いますから、当然等しいです。
θoは固定されているので、f(y|θo)は単なる１変数関数であることに注意してください。連続分布とすれば、
Ey[log　f(y|θo)] = ∫log f(y|θo)g(y)dy
Ex[log　f(X|θo)] = ∫log f(x|θo)g(x)dy
で同じ式なんで当然等しいです。

補足

【１】理解できました。

念のために補足お願いします。
X＝(x1,x2,・・・,xn)を表しているので、
　Ex[log f(x1|θo)] = Ex[log f(x2|θo)] = … = Ex[log　f(X|θo)]
ではなくて
　Ex[log f(x1|θo)] = Ex[log f(x2|θo)] = … = Ex[log　f(xn|θo)]
ですよね？

【２】
＞標本Ｘ自体は、（未知の）真の分布g(x)に従って出てきたものですし、ｙも同じ分布g(y)に従いますから、当然等しいです。
同じ分布から生成されたとしても、変数が違うのになぜ平均が等しくなるの
でしょうか？Xが例えば区間[0,1]から生成されて、yが[100,1000]の区間で
生成されたとしたら平均も異なるのではないでしょうか？
補足お願いします。

回答No.2

rabbit_cat

【１】の補足
たしかに、X＝(x1,x2,・・・,xn)て書いてあるんですが、
これは、Ｘが標本の集合（ベクトル）を表すという意味ではなくて、
Ｘという確率変数の実現値がx1, x2,…,xnは、という意味で使っているみたいです。こんな表記をするのかというのは疑問ではあるのですが、
少なくとも、それ以降のページを見る限り、そういう意味で使ってます。（もしかしたら、単に誤植の可能性も）
なんで、
Ex[log f(x1|θo)] = Ex[log f(x2|θo)] = … = Ex[log　f(X|θo)]
で正しいです。

【２】の補足
えーと、何が疑問なのかよく分からないです。もうちょっと疑問点を説明してくれませんか。
つまり、同じ分布に従う２つの確率変数ＸとＹの平均は等しい、
てことなんですが。。

補足

【２】補足2
「同じ分布に従う２つの確率変数ＸとＹの平均は等しい」
というのはどこかに理論立てた証明はありませんか？
Javaでプログラムを作って，実行したら確かに上記の事柄のようになりました。しかし，直感的に理解できません。
補足遅くなりましたが，お願いします。