- 締切済み
エントロピーを求める問題です。
エントロピーを求める問題です。 A、Bからなる情報源があり、2つの文字の結合確率は次のとおりである。 P（A,A）＝0.7、P（A,B）＝0.1、P（B,A）＝0.1、P（B,B）＝0.1 この情報源を単純マルコフ情報源とするとき、この情報源のエントロピーを求めよ。 答えは、0.63なのですが、どうしても導出できません。もし。解かる方がいたら教えてください。
- みんなの回答 （1）
- 専門家の回答
みんなの回答
- f272
- ベストアンサー率46% (8035/17170)
関連するQ&A
- エントロピーを求める問題
事象系A=｛a1,a2}および事象系B={b1,b2}において、結合確率P(a1,b1)=0.1,P(a1,b2)=0.2,P(a2,b1)=0.3,P(a2,b2)=0.4が与えられているとき事象系AとBのエントロピーH(A),H(B)を求めなさい。 この問題の解き方がわかる方教えてください。
- ベストアンサー
- 数学・算数
- マルコフ情報源のエントロピーレートの導出方法について教えて下さい。
マルコフ情報源のエントロピーレートの導出方法について教えて下さい。 大学の過去問です。 解答が無いので自力で解かなければならないのですが、行き詰まってしまいました。 もし助けて頂ければ助かります。 状態A,B,Cを行き来する定常的マルコフ情報源のエントロピーレートを求める問題です。 状態遷移確立がそれぞれ P(A|A)=0.4 P(B|B)=0.5 P(C|C)=0.8 P(A|B)=0.25 P(B|A)=0.3 P(C|B)=0.25 P(A|C)=0.1 P(B|C)=0.1 P(C|A)=0.3 で与えられています。 自分の考える解き方の大筋としては (1) 定常分布の式を立てる (2) (1)よりそれぞれの定常確率を求める (3) 系のエントロピーを求める (4) (2)、(3)とマルコフ情報源のエントロピーレート導出の 公式により解を求める という感じです。 (1)において P(A)=P(A)*0.4+P(B)*0.25+P(C)*0.1 P(B)=P(A)*0.3+P(B)*0.5+P(C)*0.1 P(C)=P(A)*0.3+P(B)*0.25+P(C)*0.8 P(A)+P(B)+P(C)=1 の連立方程式を立て、解こうと試みたのですが。 解を得る事が出来ません。 http://www.usamimi.info/~geko/arch_acade/elf001_simult/index.html のプログラムでの演算も試してみましたがやはり解を得られませんでした。 自分の計算式に何か間違いがあるのでしょうか？ また自分の解法自体にも問題がありましたらご指摘をお願い致します。 今回、情報理論を初めて勉強しているもので、もしかして全く見当違いの質問かも しれませんが、宜しくお願い致します。
- 締切済み
- 数学・算数
- 正規マルコフ情報源のエントロピーについて
次の行列であらわされる正規マルコフ情報源のエントロピーを計算せよ、という課題を出されました (すでに回収も終わっているのでカンニングにはなりません、念のため) P=| 0.2 0 0.8 | | 0.4 0.6 0 | | 0 0.3 0.7 | まず定常確率を求めたのですが求まった定常確率が間違っていたようなのです。 以下に求める際に用いた式を載せますので間違っている点があればご教授ください。 また、その後のエントロピーの計算に関しても経過と答えを載せてほしいです。 P(0)=0.2P(0)+0.8P(2) P(1)=0.6P(1)+0.4P(0) P(2)=0.7P(2)+0.3P(1) P(0)+P(1)+P(2)=1 この式を解くと各値が1/3となりました。 最後に私はこの辺をあまり理解できていないため質問文にも至らないところが多々あると思います。 そのようなことがあれば補足欄で説明したいと思います。
- ベストアンサー
- 数学・算数
- 情報源のエントロピーの計算
以下の問題について教えてください ４つのアルファベット（a,b,c,d)からなる情報源があり、それぞれの情報の発生確率は P(a)=1/8, P(b)=1/4, P(c)=1/8, P(d)=1/2である。この情報源のエントロピーを求めよ。
- ベストアンサー
- 物理学
- 情報理論の問題でわからない問題があります
情報理論の問題でわからない問題があるのでご回答願います 問題文 『Ｕ，Ｖ，Ｗの３種の文字列が次々と発生するマルコフ情報源で、ある文字が発生した次の時刻には同じ文字が1/2の確率で、別の二文字のいずれかがそれぞれ1/4の確率で発生する情報源を考える たとえばＵが発生した次の時刻には、Ｕが1/2の確率で、Ｖ，Ｗがそれぞれ1/4確率で発生する。 この情報源の一文字当たりのエントロピーはいくらか。なお発生する過程は定常過程とする。』
- 締切済み
- 数学・算数
- シャノンの結合エントロピーについて
タイトルどおりシャノンの結合エントロピーについてなんですが 結合事象系Ａ，Ｂが存在する場合、 Pi = p(Ai ∩ Bj) H(AB) = -∑∑Pij log Pij = -∑∑p(Ai ∩ Bj) logp (Ai ∩ Bj) = -∑∑p(Ai)p(Bj | Ai) log p(Ai)p(Bj | Ai) . . . H(AB)= H(A) + H(B | A) という式になるのはわかるのですが、結合事象系Ａ、Ｂ、Ｃと３つ存在する場合の式の展開がわかりません。 参考書によると上記の式を基に H(ABC) = -∑∑∑Pijk log Pijk で求めることができると書いてありましたが、上記の式のような展開の仕方が私ではできません。 特に、条件付確率部分の展開がわかりません。 ネットでいろいろ調べましたが、どこも結合事象系が2つの場合の結合エントロピーの解法しか見つかりませんでした。 どなたかご教授お願いします。
- ベストアンサー
- 数学・算数
- 熱力学―エントロピーの導出について
熱力学―エントロピーの導出について 熱力学が苦手でつまずいているのですが・・・ この問題の詳しい答えを教えてください。 「nモルの気体からなる閉じた系が圧力P,体積V,温度T,の状態にある。 この系の準静的変化を考えて,系のエントロピーを導出したい。 閉じた系内の気体の状態方程式は次式で表される。 {P+(an^2/v^2)}(V-nb)=nRT また,この気体の内部エネルギーUは次式で表される。 U=CT-a(n^2/V) Rは気体定数,a,bおよびCはいずれも定数である。 温度T0,体積V0の基準状態でのエントロピーをS0とすれば, 温度T,体積V,のときのエントロピーSはどのように表されるか。」 ・・・面倒かもしれませんが詳しい導出の手順をお願いします。
- ベストアンサー
- 物理学
- エントロピーの計算について
問題が解けないので投稿しました。 サイコロゲームのD,A,B,C,E 5人のそれぞれの目の出る確率分布が、Pd＝（1/6 ,1/6 ,1/6 ,1/6 ,1/6） Pa＝（1/3 , 0, 0, 1/3, 1/3, 0) Pb＝（1/2, 0, 0, 0, 1/2, 0） Pc＝（0, 0, 1, 0, 0, 0） Pe＝(1/4, 0, 0, 1/4, 1/4, 1/4)とするとき、(i)それぞれの情報エントロピーを求めよ。(ii)また、Dに対するほかの4人の相対エントロピーを求めよ。 全くわからないので途中式とか書いていただくと助かります。 よろしくお願いします。
- 締切済み
- 数学・算数
