- 締切済み
エントロピー
ｙ＝０であるときのｘのエントロピーH(x|y=0)は-P(x=0|y=0)logP(x=0|y=0)-P(x=1|y=0)logP(x=1|y=0)となるのはわかるのですが、 ｙで条件を付けたｘの条件付きエントロピーＨ（ｘ｜ｙ）は ｛-P(x=0|y=0)logP(x=0|y=0)-P(x=1|y=0)logP(x=1|y=0)｝×P(y=0)＋｛-P(x=0|y=1)logP(x=0|y=1)-P(x=1|y=1)logP(x=1|y=1)｝×P(y=1)のように各々の項になんでそれぞれP(y=0)とP(y=1)をかけているのでしょうか？
- qazwsxq1
- お礼率0% (0/8)
- 数学・算数
- 回答数1
- ありがとう数0
- みんなの回答 （1）
- 専門家の回答
みんなの回答
- Tacosan
- ベストアンサー率23% (3656/15482)
「条件付きエントロピー」なるものを調べてみては?
関連するQ&A
- 条件付きエントロピー
確率変数X,Yが与えられたときの条件付きエントロピーの計算方法がまったくわからないため、質問をさせていただきます。 サイコロの出目を確率変数Xとし、Y=X^2 mod 3 としたときの 条件付きエントロピーH(X|Y)はどのようにして求めればよいのでしょうか？ 参考となるウェブサイト等のURLでも構いません。 よろしくお願いします。
- ベストアンサー
- 数学・算数
- 統計学 条件付きエントロピーの問題
(1) H(X , X) = ? (2) H(X｜X) = ? (3) I(X ; X) = ? 情報源 X {a₁, a₂, ..., am} pi = P(X=ai) 情報源 Y {b₁, b₂, ..., bn} qi = P(Y=bｊ) rij = P(X=ai , Y=bｊ) とする XとYの同時エントロピー H(X , Y) = -Σrij log₂rij pi = nΣ(j=1)rij pj = mΣ(i=1)rij …… というように定義していくと、問題はどのように解かれますか。
- 締切済み
- 数学・算数
- シャノンの結合エントロピーについて
タイトルどおりシャノンの結合エントロピーについてなんですが 結合事象系Ａ，Ｂが存在する場合、 Pi = p(Ai ∩ Bj) H(AB) = -∑∑Pij log Pij = -∑∑p(Ai ∩ Bj) logp (Ai ∩ Bj) = -∑∑p(Ai)p(Bj | Ai) log p(Ai)p(Bj | Ai) . . . H(AB)= H(A) + H(B | A) という式になるのはわかるのですが、結合事象系Ａ、Ｂ、Ｃと３つ存在する場合の式の展開がわかりません。 参考書によると上記の式を基に H(ABC) = -∑∑∑Pijk log Pijk で求めることができると書いてありましたが、上記の式のような展開の仕方が私ではできません。 特に、条件付確率部分の展開がわかりません。 ネットでいろいろ調べましたが、どこも結合事象系が2つの場合の結合エントロピーの解法しか見つかりませんでした。 どなたかご教授お願いします。
- ベストアンサー
- 数学・算数
- 単純マフコフ情報源のエントロピー
単純マフコフ情報源のエントロピーの式のイメージがいまいちつかめません。 H(Xt) = H(Xt|Xt-1) ということで、一つ前の生起した記号がわかっている条件下でのXt、ということだと思うのですが、なぜ条件付きエントロピーにするのでしょうか？ よろしくお願いします。
- ベストアンサー
- 数学・算数
- エントロピーを計算？
こんにちは、大学のレポートでエントロピーを実際に計算しろ。 というものが出てしまって困っています。 実際講義では一切計算には触れていないので、何がなんだかよくわかりません。 説明で ○言語Lにおいて、単語列w1w2…wkの出現確率をP(w1w2…wk) とすれば、言語LのエントロピーH0(L)は次式で定義される。 H0(L)=-ΣP(w1w2・・・wk) log2 P(w1w2・・・wk) ○１単語あたりのエントロピーH(L) H(L) = -Σ1/kP(w1w2・・・wk) log2 P(w1w2・・・wk) ○パープレキシティ Fp(L)=2H(L) 問題の例は、 ●10個の数字が等確立で発生される場合 解：H=-Σ9 i=0 p(i)log2p(i)= 10 × log2 10/10= 3.32(bits) となるようです。 Σの上と下に付く数字はΣの後ろについてる「9」と「i=0」です。 問題は ●10個の数字のうち、0の確率が0.91で、残りの数字がそれぞれ0.01である場合 ●「はい」「いいえ」の2単語が等確率で発生される場合 というものです。 是非、分かるかた教えてください。お願いします。
- 締切済み
- 物理学
- エントロピー（情報量）の性質
情報理論の参考書で下のような、エントロピーに関する問題がありました。 3つの確率変数X,Y,Zについて次の(a)～(d)を証明せよ。また、その意味を解釈せよ。 (a) H(X,Y,Z)≦H(X)＋H(Y)＋H(Z) (b) H(X,Y,Z)＝H(X|Y,Z)＋H(Y|Z)＋H(Z) (c) H(X,Y|Z)≦H(X|Z)＋H(Y|Z) (d) H(X|Y,Z)≦H(X|Z)≦H(X) 証明はできたんですが、意味を解釈するというのがうまく説明できません。 一応自分なりに考えてみたんですが、どうも自信がありません。 どなたか、チェックしてくれれば嬉しいんですが・・・ よろしくお願いします。 (a)X,Y,Zの値を同時に知ったときに得られる情報量より、X,Y,Zの値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (b)Z→Y→Xという順で値を知ったとすれば、Z,Y,Xのそれぞれの値を知った時点で得られるそれぞれの情報量の和は、X,Y,Zの値を同時に知ったときに得られる情報量に等しい。 (c)Zの値が既知であっても、(a)と同様に値を同時に知ったときに得られる情報量より、値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (d)YとZの値が既知のときより、Zの値だけが既知のときの方が、そしてZの値だけが既知のときより、既知の値がないときの方が、Xの値を知って得られる情報量は大きい。すなわち、得ている情報が少ないほど、情報により得られる情報量が大きくなる。
- 締切済み
- 数学・算数
- エントロピーの偏微分
(∂S/∂P)_H<0, （∂S/∂V)_U>0 (それぞれの左辺はHを固定してSをPで偏微分したもの、Uを固定してSをVで偏微分したものです） を示せという問題が出されたのですが、 どのように示せばよいかわかりません。 数式的に処理できるのか、熱力学やエントロピーの意味を考えて示すのかさえ見当がつきません。 どなたか教えていただけないでしょうか。よろしくお願いいたします。
- ベストアンサー
- 物理学
