カルバックライブラー情報量におけるlog0の計算

質問

現在、大学の卒業研究でカルバックライブラー情報量について勉強しています。

カルバックライブラー情報量は、
6面のサイコロを100回投げたときの確率が、
f = (0.20 , 0.12 , 0.18 , 0.12 , 0.20 , 0.18)
であり、理想的なサイコロの目の出る確率が、
g = (1/6 , 1/6 , 1/6 , 1/6 , 1/6 , 1/6)
であるとすると
1/6 log{(1/6)/0.20} + 1/6 log{(1/6)/0.12} + ... + 1/6 log{(1/6) / 0.18} =
1/6 log(1/6) - 1/6 log(0.20) + ... +1/6 log(1/6) - 1/6 log(0.18) = 0.0231
という計算式になると思います。

もし、6面のサイコロを100回投げたときの確率が、
f = (0.00 , 0.22 , 0.18 , 0.22 , 0.20 , 0.18)
だった場合、
1/6 log{(1/6)/0} + ... = 1/6 log(1/6) - 1/6 log(0) + ...
となりますが、log(0)をどうすればいいのでしょうか...

わかる方教えていただきたいです

回答No.1

上野 尚人（@uenotakato） · ベストアンサー

＞f = (0.00 , 0.22 , 0.18 , 0.22 , 0.20 , 0.18)
だった場合、
1/6 log{(1/6)/0} + ... = 1/6 log(1/6) - 1/6 log(0) + ...
となりますが、

gを基準とした場合のfの情報量であれば

0 * log( 0 / (1/6) ) + 0.22 * log( 0.22 / (1/6) ) + …

という数式になるかと思います。
この場合の第一項は 0 * log 0 となりそのままでは計算不可能ですが

lim (x→+0) x log x = 0
より0となるかと思います。