- ベストアンサー
エントロピーを求める問題
- みんなの回答 （2）
- 専門家の回答
質問者が選んだベストアンサー
P(a1) = P(a1,b1) + P(a1,b2), P(a2) = P(a2,b1) + P(a2,b2), P(b1) = P(a1,b1) + P(a2,b1), P(b2) = P(a1,b2) + P(a2,b2). H(A) = - P(a1) logP(a1) - P(a2) logP(a2), H(B) = - P(b1) logP(b1) - P(b2) logP(b2). というだけなんだけどな。 log の底は、教科書や講義によって e の場合と 2 の場合があるから、 自分とこのを要確認。
その他の回答 (1)
- alice_44
- ベストアンサー率44% (2109/4759)
地道に定義どおり… 周辺確率 P(a1), P(a2), P(b1), P(b2) を求めて、 H(A), H(B) の定義式へ代入する。 どこが解らないの？ やったことを 補足に書いてごらんよ。
関連するQ&A
- エントロピーを求める問題です。
エントロピーを求める問題です。 A、Bからなる情報源があり、2つの文字の結合確率は次のとおりである。 P（A,A）＝0.7、P（A,B）＝0.1、P（B,A）＝0.1、P（B,B）＝0.1 この情報源を単純マルコフ情報源とするとき、この情報源のエントロピーを求めよ。 答えは、0.63なのですが、どうしても導出できません。もし。解かる方がいたら教えてください。
- 締切済み
- 数学・算数
- シャノンの結合エントロピーについて
タイトルどおりシャノンの結合エントロピーについてなんですが 結合事象系Ａ，Ｂが存在する場合、 Pi = p(Ai ∩ Bj) H(AB) = -∑∑Pij log Pij = -∑∑p(Ai ∩ Bj) logp (Ai ∩ Bj) = -∑∑p(Ai)p(Bj | Ai) log p(Ai)p(Bj | Ai) . . . H(AB)= H(A) + H(B | A) という式になるのはわかるのですが、結合事象系Ａ、Ｂ、Ｃと３つ存在する場合の式の展開がわかりません。 参考書によると上記の式を基に H(ABC) = -∑∑∑Pijk log Pijk で求めることができると書いてありましたが、上記の式のような展開の仕方が私ではできません。 特に、条件付確率部分の展開がわかりません。 ネットでいろいろ調べましたが、どこも結合事象系が2つの場合の結合エントロピーの解法しか見つかりませんでした。 どなたかご教授お願いします。
- ベストアンサー
- 数学・算数
- 情報量、条件付きエントロピーについて
情報量、条件付きエントロピーについて質問があります。 事象A:サイコロを振って出た目 事象B(b1,b2) b1:サイコロの目は3の倍数 b2:サイコロの目は3の倍数以外 サイコロは普通のサイコロです。(1から6全て確率1/6) この時、サイコロの目が事前に3の倍数だと分かっている時の、AのエントロピーH(A|b1)を求めよという問題がわかりません。 どうか教えて下さい。
- 締切済み
- 数学・算数
- 結合確率モデル
事象 A={サイコロの出た目が奇数である} 事象 a={Aではない} 事象 B={サイコロの出た目が２以上である} 事象 b={Bではない} を考える。 このとき、 X= (A a ) (PA Pa) Y= (B b ) (PB Pb) のそれぞれのエントロピーH(X),H(Y)を求めるとともに、結合確率モデル Z= (A∧B A∧b a∧B a∧b) ( P1 P2 P3 P4 ) におけるエントロピーH(Z)を求めて、H(X)とH(Y)との大小関係を明らかにせよ。 こんな問題がありました。 H(X)=(1/2 log2 2)+(1/2 log2 2) H(Y)=(5/6 log2 6/5)+(1/6 log2 6) H(Z)=(2/6 log2 6/2)+(1/6 log2 6)+(3/6 log2 6/3) 正しいかどうか不安ですけど、何とかここまではできたような感じはします。この後大小関係を明らかにするには何をどうすればいいのかくわしく教えてください。最後の結果も教えていただくとより助かります。
- 締切済み
- 数学・算数
- 情報源のエントロピーの計算
以下の問題について教えてください ４つのアルファベット（a,b,c,d)からなる情報源があり、それぞれの情報の発生確率は P(a)=1/8, P(b)=1/4, P(c)=1/8, P(d)=1/2である。この情報源のエントロピーを求めよ。
- ベストアンサー
- 物理学
- エントロピーを計算？
こんにちは、大学のレポートでエントロピーを実際に計算しろ。 というものが出てしまって困っています。 実際講義では一切計算には触れていないので、何がなんだかよくわかりません。 説明で ○言語Lにおいて、単語列w1w2…wkの出現確率をP(w1w2…wk) とすれば、言語LのエントロピーH0(L)は次式で定義される。 H0(L)=-ΣP(w1w2・・・wk) log2 P(w1w2・・・wk) ○１単語あたりのエントロピーH(L) H(L) = -Σ1/kP(w1w2・・・wk) log2 P(w1w2・・・wk) ○パープレキシティ Fp(L)=2H(L) 問題の例は、 ●10個の数字が等確立で発生される場合 解：H=-Σ9 i=0 p(i)log2p(i)= 10 × log2 10/10= 3.32(bits) となるようです。 Σの上と下に付く数字はΣの後ろについてる「9」と「i=0」です。 問題は ●10個の数字のうち、0の確率が0.91で、残りの数字がそれぞれ0.01である場合 ●「はい」「いいえ」の2単語が等確率で発生される場合 というものです。 是非、分かるかた教えてください。お願いします。
- 締切済み
- 物理学
- 基礎統計 問題
授業で基礎統計を選択受講しているのですが、先生から次のような問題が出されました。 ある事象A1、A2、A3がおこる確率がそれぞれ、P(A1)＝0.2、P(A2)＝0.3、P(A3)＝0.5であったとする。また事象A1、A2、A3が発生したときに、事象Bが起こる確率をP(B|A1)＝0.3、P(B|A2)＝0.9、P(B|A3)＝0.7とする。このとき、事象Bが起こる時の事象A1,A2,A３が起こる確率を求めなさい。 P(A1|B)＝ 、P(A2|B) 、P(A3|B)＝ 以上です。 公式を教えてもらったのには、 P(Ak|B)=P(Ak)P(B|Ak)|P(B) であり、ただ公式に当てはめればいいとの事みたいなのですが、よくわかりません。 答えを教えて下さいまでは言いませんが、Bの出し方を教えて頂きたいのですが、 心優しい方ぜひ宜しくお願いします。
- 締切済み
- 数学・算数
- 統計学 条件付きエントロピーの問題
(1) H(X , X) = ? (2) H(X｜X) = ? (3) I(X ; X) = ? 情報源 X {a₁, a₂, ..., am} pi = P(X=ai) 情報源 Y {b₁, b₂, ..., bn} qi = P(Y=bｊ) rij = P(X=ai , Y=bｊ) とする XとYの同時エントロピー H(X , Y) = -Σrij log₂rij pi = nΣ(j=1)rij pj = mΣ(i=1)rij …… というように定義していくと、問題はどのように解かれますか。
- 締切済み
- 数学・算数
お礼
回答ありがとうございます。結合確率について教科書にほとんど載っていなかったため苦戦していましたがとても助かりました。