エントロピー（情報量）の性質

質問

情報理論の参考書で下のような、エントロピーに関する問題がありました。

3つの確率変数X,Y,Zについて次の(a)～(d)を証明せよ。また、その意味を解釈せよ。

(a) H(X,Y,Z)≦H(X)＋H(Y)＋H(Z)
(b) H(X,Y,Z)＝H(X|Y,Z)＋H(Y|Z)＋H(Z)
(c) H(X,Y|Z)≦H(X|Z)＋H(Y|Z)
(d) H(X|Y,Z)≦H(X|Z)≦H(X)

証明はできたんですが、意味を解釈するというのがうまく説明できません。

一応自分なりに考えてみたんですが、どうも自信がありません。
どなたか、チェックしてくれれば嬉しいんですが・・・
よろしくお願いします。

(a)X,Y,Zの値を同時に知ったときに得られる情報量より、X,Y,Zの値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。

(b)Z→Y→Xという順で値を知ったとすれば、Z,Y,Xのそれぞれの値を知った時点で得られるそれぞれの情報量の和は、X,Y,Zの値を同時に知ったときに得られる情報量に等しい。

(c)Zの値が既知であっても、(a)と同様に値を同時に知ったときに得られる情報量より、値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。

(d)YとZの値が既知のときより、Zの値だけが既知のときの方が、そしてZの値だけが既知のときより、既知の値がないときの方が、Xの値を知って得られる情報量は大きい。すなわち、得ている情報が少ないほど、情報により得られる情報量が大きくなる。

回答No.1

onakyuu

その解釈でよいと思います。

お礼

良かった。これで合ってたんですね。
ありがとうございました。