情報量

質問

２つのさいころを振ったところ、さいころの目の和が６であることは
憶えていたが、それぞれのさいころの目は忘れてしまった。
このとき憶えていた情報量H1と失われた情報量H2はいくらか。

H1に関しては全事象が36で、うち和が６になるのは5通りなので

H1 = 5/36 * log(36/5)

H2は1通りだと確定した場合の情報量(H3 = 1/6*log6 + 1/6*log6)を引いて

H2 = H1 - H3

でいいのでしょうか。なんだか間違っているような気もするのですが
よろしくお願いします。

(logの底は2です)

回答No.1

rabbit_cat · ベストアンサー

H=Σp*log(1/p)
てのは平均情報量ですよ。
この場合は、単純に自己情報量
I=log(1/p)
を使えばいいです。
問題で、H1，H2て平均情報量のときに使う文字Ｈを使ってのがちょっと変ですけど。

さいころの１回目と２回目を区別するのか（例えば、１回目に１が出て２回目に５が出た場合と、１回目の５が出て２回目に１が出た場合を区別するのか）が明確でないんですが、とりあえず、区別するとしときましょう。
H1 = log(36/5)
H3 = log6 + log6
H2 = H3 - H1 = log(36)-log(36/5) = log(5)

お礼

回答ありがとうございます。

>H=Σp*log(1/p)
>てのは平均情報量ですよ
投稿後に気付いたのですが、教科書をみてもＨはエントロピー
に使っているので、おかしいなと思いました。(問題文自体がＨ
となっていたので)

今回はやはり自己情報量で計算するのですね。
(それを除けば)考え方自体はあっていたようなので安心しました。

ありがとうございました。