- ベストアンサー
ＡＩＣと対数尤度
このサイト http://tswww.ism.ac.jp/kawasaki/nagoya2001summer/sld074.htm を参考にして、ＡＩＣについて現在勉強しています。 Ey[log f(Y)]を導出するために、未知の分布g()を経験分布関数g^()で近似して、 Ey[log f(Y)] ＝ ∫log f(y)g(y)dy ≒ ∫log f(y)g^(y)dy ≒ 1/N Σlog f(y) と導出されるそうなのですが、なぜ未知の分布を経験分布関数で近似できるのか 分かりません。分かる方、教えてください。
- marucha
- お礼率38% (127/329)
- 数学・算数
- 回答数2
- ありがとう数3
- みんなの回答 （2）
- 専門家の回答
質問者が選んだベストアンサー
直接の回答が,"時系列解析入門"北川源四郎 岩波 pp.50から54くらいに書いてあります. 要するに経験分布関数はNを大きくすると真の分布関数 に収束するという大数の法則によって近似を正当化します.
その他の回答 (1)
未知の分布ではなく、真の分布と考えればいいでしょう。それに対応する経験的に採用する統計分布モデルをいかに近づけるかというか、差異が少ない分布モデルを調べようとするのが、AICの考えの基本だと思います。 推定の考え方を理解しましょう。 AICを勉強するには、参考サイトで十分、理論の導出を理解できる筈です。 統計は、真値が大数の法則から成り立っていますから、適切な表現ではありませんが、真値の推定は多数決で決まるようなもんです。ですから私には、統計に対する疑問、つまり多数は正しいという疑問が私にはあります。例えば、理論値がない場合、その観測の測定値が間違って行われた場合、その大数の原理から平均が真値の推定値になってしまうのです。真値は神のみ知っているのですから、不確実な値です。だから統計は確率の問題になるのですがね。
関連するQ&A
- AICの式変形について
AICについて http://tswww.ism.ac.jp/kawasaki/nagoya2001summer/sld082.htm を参考に勉強し続けているのですが、AIC導出に関する以下の式変形の仕方が分かりません。 【１】 1/N ΣEx[log f(xn|θo)] ＝ Ex[log f(X|θo)]・1/N・N まずこの箇所なのですが、なぜ「Ｎ」倍がでてくるのでしょうか？ 【２】 Ey[log f(y|θo)] - Ex[log f(X|θo)]・1/N・N ＝ Ey[log f(y|θo)] - Ex[log f(X|θo)] ------------ α ＝ ０ αの箇所なのですが、 Ey[log f(y|θo)]は、将来観測されるであろうサンプルｙの確率モデルf(y|θo)の分布yについての期待値で、 Ex[log f(X|θo)]は、標本Xの同時分布xに関する期待値である と自分の中では理解しているのですが、これがなぜ等しくなるのか分かりません。 以上の【１】と【２】についてが疑問です。 何日も考えたのですが、理解できません。 詳しい解説を御教授ください。お願いします。
- ベストアンサー
- 数学・算数
- 確立密度関数の積分方程式
ある事象の分析で、次の式にたどり着きました。 g(y) = ∫（-∞, ∞） f(x) f(x+y) dx ここでf(x) は未知の確立密度関数、g(y)は既知の関数です。 私が考えている問題では、fを正規分布で近似できるので、gも正規分布となり、gの分散の1/2がfの分散になりますが、ここで実用を離れ、一般の場合に（gは偶関数でなければならないなど、いくつか条件はあると思いますが）この積分方程式が解析的に解けるのかということに興味をもちました。 調べた範囲ではこれを扱ったサイトが見つかりませんでしたので、ご教示お願いします。
- ベストアンサー
- 数学・算数
- 正規分布の平均対数尤度を求めるには
連続分布g(x)，f(x)は，平均0，分散1の正規分布Ｎ(0,1)とする． g(x)からn個のデータｘnを生成する． このとき，平均対数尤度は， ∫g(x)logf(x)dx = -1/2*log(2π)-1/2 となる． 以下のように自分で計算しましたがここからどうすれば上記のようになるのか分かりません．このあとどうすればいいのでしょうか？ g(x)=1/√2π・exp(-x^2/2) f(x)=1/√2π・exp(-x^2/2) なので， ∫g(x)logf(x)dx = 1/√2π∫exp(-x^2/2){-x^2/2 - 1/2log2π}dx = 1/√2π{-x*exp(-x^2/2)*(-x^2/2 - 1/2log2π) + (-x)*exp(-x^2/2)} + C Cは積分定数
- ベストアンサー
- 数学・算数
- 対数尤度からのパラメター推定
式（１）の対数尤度から未知数を推定するためにパラメターｘで偏微分すると式（２）になるようなのですが、式（１）から（２）への過程を解説していただけますでしょうか。 logL(x|y,s^2) = Sigma(i=1 to n)logP([y-fx]/s) (1) d log(x|y,s^2) ----------- = Sigma(i=1 to n) (Aij/s)W(v/s) (2) d x Aij はヤコビアン係数W df/dx(偏微分）、ｖは残差 関数W(z)は W（ｚ） = -dlogP(z)/dz よろしく御願いいたします。
- ベストアンサー
- 数学・算数
- 微分の計算（記号の使い方）
ｆ（ｘ）の逆関数をｇ（ｘ）とする。ｆ（１）＝２、ｆ‘（１）＝２、ｆ‘‘（１）＝３のとき、ｇ‘‘（２）の値をもとめよ。 ｙ＝ｇ（ｘ）とすると、ｆ（ｘ）はｇ（ｘ）の逆関数だから、ｘ＝ｆ（ｙ）ゆえに、ｄｘ/ｄｙ＝ｆ‘（ｙ）。 よって、ｇ‘（ｘ）＝ｄｙ/ｄｘ＝１/f`(y) ｇ‘‘（ｘ）＝(ｄ/dx)(g`(x))=(d/dy)(１/f`(y))（dy/dx） （疑問） 私はｇ‘‘（ｘ）＝(ｄ/dx)(g`(x))=(d/dy)(１/f`(y))（dy/dx）の部分で、(d/dy)(１/f`(y))（dy/dx）＝（ｄ/ｄｙ）（１/(f`(y))^2)としてしまいました。 （d/dyをｄｙ/ｄｘにも適用してしまった）調べたところ、ｄ/ｄｙは直後の関数のみに適用するそうです。そうすると、(d/dy)(１/f`(y))（dy/dx）の変形のところで、私は分数のように考えてこの式へ変形したのですが、dy/dxは１/f`(y)の直後に書かなくてはならないですよね?（分数といっても交換して（ｄ/dy)(dy/dx)(1/f`(y))のようにしてはダメ。） 合成関数の微分法で、分数のように変形する場合は直後に付け加えていくということでしょうか？
- ベストアンサー
- 数学・算数
- 対数を利用した微分法・・
y=f(x)が微分可能な関数ならばf(x)≠0であるxの範囲においてはlog|y|も微分可能であり合成関数の微分法によって（log|y|）'=y'/yとなるとあったのですが、「=f(x)が微分可能な関数ならばf(x)≠0であるxの範囲においてはlog|y|も微分可能であり・・」と何故言えるのでしょうか？教えてください！！
- ベストアンサー
- 数学・算数
- 合成関数の微分法により,d/dx * y^2 =
合成関数の微分法により,d/dx * y^2 = d/dy * y^2 * dy/dxと書いてあったのですが、何故こうなるかが分かりません 関数 y = f(g(x)) を y = f(t) と u = g(x) の合成関数と考えるとき， dy/dx = dy/du * du/dx が合成関数の説明ですが、ここの説明のyとuは、上の式(d/dx * y^2 = d/dy * y^2 * dy/dx)では何になっていますか？
- 締切済み
- 数学・算数
- 積の微分の公式 (dfdg/dx)=0?
ｙ＝ｆ（ｘ）×ｇ（ｘ）の微分は，(dy/dx)=(df/dx)g+f(dg/dx)だと思います。（微分そのまま＋そのまま微分）と暗記しました。この公式の証明として，次のような説明を見付けました。 (y+dy)=fg+gdf+fdg+dgdf y=fgより dy=gdf+fdg+dgdf 両辺をdxで割ると (dy/dx)=g(df/dx)+f(dg/dx)+(dgdf/dx) よって，微分そのまま＋そのまま微分が成り立つ。（右辺第３項 dgdf/dxですが，dgdfは微少量同士のかけ算ですから無視しているようです。） 質問１ 右辺第３項は無視しても良いのでしょうか。 次に，右辺第３項を無視したまま，上記の式をxで積分したときに元に戻るかどうか試しました。 y=fgより，f=y/g g=y/f (dy/dx)=(y/f)(df/dx)+(y/g)(dg/dx) 積分記号(1/y)dy=積分記号(1/f)df+積分記号(1/g)dg log|y|=log|f|+log|g| log|y|=log|fg| y=fg となり，元の原関数が導けました。 質問２ 右辺第３項を無視したままｘで積分して元に戻るかどうか試したのですが，元に戻りました。 私のした積分の計算はあっているのでしょうか。（右辺第３項を無視したまま計算を始めたことが気になります。）
- ベストアンサー
- 数学・算数
- 多変数関数f(x,y)の多変数関数g(x,y)による微分∂f/∂gを計
多変数関数f(x,y)の多変数関数g(x,y)による微分∂f/∂gを計算するには？ xとyに関する多変数関数f(x,y)と、g(x,y)が与えられたとき、微分∂f/∂gを計算するにはどうしたらよいでしょうか？(そもそも偏微分なのだろうか？) 具体例で考えます。 f(x,y) = (x+2y)^2 g(x,y) = x+2y である場合。当然∂f/∂g = 2 gです。このような場合は問題ありませんが、 f(x,y) = x + 3y g(x,y) = x + 2y のような場合はどのように考えたらよいのでしょうか？ 全微分の関係を使って考えてみました。 df(x,y) = (∂f/∂x) dx + (∂f/∂y) dy + O(dx,dy) = dx + 3 dy + O(dx,dy) dg(x,y) = (∂g/∂x) dx + (∂g/∂y) dy + O(dx,dy) = dx + 2 dy + O(dx,dy) ∂f/∂g = limit_{dx→0,dy→0} df/dg を考えれば良いのではないかと。 どの方向から極限をとっても極限値が変わらないと仮定して、 つまりdx = dyとして、極限を考えると。 ∂f/∂g = 4/3 とても正しいとは思えないのですが、他にどう考えればよいのかわからず悩んでいます。 そもそも、微分が存在しないと言うことなのでしょうか？ 質問は以下の2点です。 （１）この様な場合、どのように考えていけばいいのでしょうか？ （２）この様な微分に関して、数学的に何か名前があるのでしょうか？分野名など。 以上 よろしくお願いします。
- ベストアンサー
- 数学・算数
お礼
回答に書かれている参考書を購入して読んで理解します。 適切な回答ありがとうございます。