情報源のエントロピーの計算

質問

以下の問題について教えてください

４つのアルファベット（a,b,c,d)からなる情報源があり、それぞれの情報の発生確率は
P(a)=1/8, P(b)=1/4, P(c)=1/8, P(d)=1/2である。この情報源のエントロピーを求めよ。

回答No.1

ereserve67 · ベストアンサー

H=-Σ_{x∈{a,b,c,d}}p(x)log_2p(x)
=-p(a)log_2p(a)-p(b)log_2p(b)-p(c)log_2p(c)-p(d)log_2p(d)
=-2^{-3}log_22^{-3}-2^{-2}log_22^{-2}-2^{-3}log_22^{-3}-2^{-1}log_22^{-1}
=3・2^{-3}+2・2^{-2}+3・2^{-3}+2^{-1}
=3/8+1/2+3/8+1/2=(3+4+3+4)/8=14/8=7/4=1.75

お礼

ありがとうございます。