カルバックライブラー情報量の計算方法とlog0の扱いについて
- カルバックライブラー情報量について勉強している大学生の質問です。具体的な計算式を示しながら、log0の扱いについても解説しています。
- カルバックライブラー情報量は、確率分布の違いを測る指標です。計算式におけるlog0の扱いについては、特別な取り扱いが必要です。具体的には、0に非常に小さな値を加えて近似計算を行います。
- 6面のサイコロを100回投げた場合の確率分布が与えられた際に、カルバックライブラー情報量を計算する手順を紹介します。また、確率分布が0の場合のlog0の扱いについても解説します。
- ベストアンサー
カルバックライブラー情報量におけるlog0の計算
現在、大学の卒業研究でカルバックライブラー情報量について勉強しています。 カルバックライブラー情報量は、 6面のサイコロを100回投げたときの確率が、 f = (0.20 , 0.12 , 0.18 , 0.12 , 0.20 , 0.18) であり、理想的なサイコロの目の出る確率が、 g = (1/6 , 1/6 , 1/6 , 1/6 , 1/6 , 1/6) であるとすると 1/6 log{(1/6)/0.20} + 1/6 log{(1/6)/0.12} + ... + 1/6 log{(1/6) / 0.18} = 1/6 log(1/6) - 1/6 log(0.20) + ... +1/6 log(1/6) - 1/6 log(0.18) = 0.0231 という計算式になると思います。 もし、6面のサイコロを100回投げたときの確率が、 f = (0.00 , 0.22 , 0.18 , 0.22 , 0.20 , 0.18) だった場合、 1/6 log{(1/6)/0} + ... = 1/6 log(1/6) - 1/6 log(0) + ... となりますが、log(0)をどうすればいいのでしょうか... わかる方教えていただきたいです
- nebi
- お礼率0% (0/1)
- 数学・算数
- 回答数1
- ありがとう数1
- みんなの回答 (1)
- 専門家の回答
質問者が選んだベストアンサー
>f = (0.00 , 0.22 , 0.18 , 0.22 , 0.20 , 0.18) だった場合、 1/6 log{(1/6)/0} + ... = 1/6 log(1/6) - 1/6 log(0) + ... となりますが、 gを基準とした場合のfの情報量であれば 0 * log( 0 / (1/6) ) + 0.22 * log( 0.22 / (1/6) ) + … という数式になるかと思います。 この場合の第一項は 0 * log 0 となりそのままでは計算不可能ですが lim (x→+0) x log x = 0 より0となるかと思います。
関連するQ&A
- 平均情報量の計算について
平均情報量の計算について 対数の基本はWEBで調べて理解が出来たのですが、 問題に応用が効かず困っております。。 下記について式も併せて教えていただけないでしょうか。 よろしくお願いします。 問1 特殊加工した為に出現頻度が異なる立方体のサイコロを1回振った場合の平均情報量を計算しなさい。 面1:1/4 面2:1/4 面3:1/6 面4:1/6 面5:1/6 面6:0
- 締切済み
- 数学・算数
- 情報量 -log2(x)の算出
-log_2(確率)の計算方法について、 50%の情報量 は -log2(1/2)=-log2(2^-1)=1log2(2)=1*1=1 25%の情報量 は -log(1/4)=-log2(2^-2)=2log2(2)=2*1=2 75%の情報量 は -log2(3/4)= ?? 33.3333%(1/3)の情報量 は -log2(1/3)= ?? 下2問の算出方法がわかりません。 算出方法や、詳しいHP等ありましたら 教えていただけますでしょうか。 上2問は、答えはあっていると思いますが、 途中の式、過程や、表現(表記)等は問題ないでしょうか。 よろしくお願いします。
- ベストアンサー
- 数学・算数
- 確率の計算お願いします
(1)コイン(表と裏)を20回投げて表が9~11回でる確率を計算してください。 (2)10面のサイコロ(赤=6面、青=4面)を20回投げて赤面が9~11回でる確率を計算してください。 計算式もお願いします。
- ベストアンサー
- 数学・算数
- 情報量、条件付きエントロピーについて
情報量、条件付きエントロピーについて質問があります。 事象A:サイコロを振って出た目 事象B(b1,b2) b1:サイコロの目は3の倍数 b2:サイコロの目は3の倍数以外 サイコロは普通のサイコロです。(1から6全て確率1/6) この時、サイコロの目が事前に3の倍数だと分かっている時の、AのエントロピーH(A|b1)を求めよという問題がわかりません。 どうか教えて下さい。
- 締切済み
- 数学・算数
- 情報量
情報量 = log() または、エントロピーで計算することは知っているのですが、「雑談」の情報量はどのようにして計算したらいいのでしょうか?? いまいちピンとこないんですけど、計算なんてできるんでしょうか。。。
- ベストアンサー
- その他(学問・教育)