- 締切済み
マルコフ情報源のエントロピーレートの導出方法について教えて下さい。
マルコフ情報源のエントロピーレートの導出方法について教えて下さい。 大学の過去問です。 解答が無いので自力で解かなければならないのですが、行き詰まってしまいました。 もし助けて頂ければ助かります。 状態A,B,Cを行き来する定常的マルコフ情報源のエントロピーレートを求める問題です。 状態遷移確立がそれぞれ P(A|A)=0.4 P(B|B)=0.5 P(C|C)=0.8 P(A|B)=0.25 P(B|A)=0.3 P(C|B)=0.25 P(A|C)=0.1 P(B|C)=0.1 P(C|A)=0.3 で与えられています。 自分の考える解き方の大筋としては (1) 定常分布の式を立てる (2) (1)よりそれぞれの定常確率を求める (3) 系のエントロピーを求める (4) (2)、(3)とマルコフ情報源のエントロピーレート導出の 公式により解を求める という感じです。 (1)において P(A)=P(A)*0.4+P(B)*0.25+P(C)*0.1 P(B)=P(A)*0.3+P(B)*0.5+P(C)*0.1 P(C)=P(A)*0.3+P(B)*0.25+P(C)*0.8 P(A)+P(B)+P(C)=1 の連立方程式を立て、解こうと試みたのですが。 解を得る事が出来ません。 http://www.usamimi.info/~geko/arch_acade/elf001_simult/index.html のプログラムでの演算も試してみましたがやはり解を得られませんでした。 自分の計算式に何か間違いがあるのでしょうか？ また自分の解法自体にも問題がありましたらご指摘をお願い致します。 今回、情報理論を初めて勉強しているもので、もしかして全く見当違いの質問かも しれませんが、宜しくお願い致します。
- みんなの回答 （2）
- 専門家の回答
みんなの回答
- loboskobay
- ベストアンサー率20% (1/5)
- loboskobay
- ベストアンサー率20% (1/5)
関連するQ&A
- 正規マルコフ情報源のエントロピーについて
次の行列であらわされる正規マルコフ情報源のエントロピーを計算せよ、という課題を出されました (すでに回収も終わっているのでカンニングにはなりません、念のため) P=| 0.2 0 0.8 | | 0.4 0.6 0 | | 0 0.3 0.7 | まず定常確率を求めたのですが求まった定常確率が間違っていたようなのです。 以下に求める際に用いた式を載せますので間違っている点があればご教授ください。 また、その後のエントロピーの計算に関しても経過と答えを載せてほしいです。 P(0)=0.2P(0)+0.8P(2) P(1)=0.6P(1)+0.4P(0) P(2)=0.7P(2)+0.3P(1) P(0)+P(1)+P(2)=1 この式を解くと各値が1/3となりました。 最後に私はこの辺をあまり理解できていないため質問文にも至らないところが多々あると思います。 そのようなことがあれば補足欄で説明したいと思います。
- ベストアンサー
- 数学・算数
- エントロピーを求める問題です。
エントロピーを求める問題です。 A、Bからなる情報源があり、2つの文字の結合確率は次のとおりである。 P（A,A）＝0.7、P（A,B）＝0.1、P（B,A）＝0.1、P（B,B）＝0.1 この情報源を単純マルコフ情報源とするとき、この情報源のエントロピーを求めよ。 答えは、0.63なのですが、どうしても導出できません。もし。解かる方がいたら教えてください。
- 締切済み
- 数学・算数
- 熱力学―エントロピーの導出について
熱力学―エントロピーの導出について 熱力学が苦手でつまずいているのですが・・・ この問題の詳しい答えを教えてください。 「nモルの気体からなる閉じた系が圧力P,体積V,温度T,の状態にある。 この系の準静的変化を考えて,系のエントロピーを導出したい。 閉じた系内の気体の状態方程式は次式で表される。 {P+(an^2/v^2)}(V-nb)=nRT また,この気体の内部エネルギーUは次式で表される。 U=CT-a(n^2/V) Rは気体定数,a,bおよびCはいずれも定数である。 温度T0,体積V0の基準状態でのエントロピーをS0とすれば, 温度T,体積V,のときのエントロピーSはどのように表されるか。」 ・・・面倒かもしれませんが詳しい導出の手順をお願いします。
- ベストアンサー
- 物理学
- 情報源のエントロピーの計算
以下の問題について教えてください ４つのアルファベット（a,b,c,d)からなる情報源があり、それぞれの情報の発生確率は P(a)=1/8, P(b)=1/4, P(c)=1/8, P(d)=1/2である。この情報源のエントロピーを求めよ。
- ベストアンサー
- 物理学
- 情報のエントロピーについての質問です。
情報のエントロピーについての質問です。 無記憶情報源Ｓの通報およびその発生確率 通報 発生確率 Ａ 0.3 Ｂ 0.2 Ｃ 0.04 Ｄ 0.16 Ｅ 0.3 （１）情報源ＳのエントロピーＨｓの求め方。 （２）情報源Ｓの２次元拡大情報Ｓ’のエントロピーＨｓ’の求め方。 以上の２つの考え方をお願いします。 もし参考になりそうなページをご存じであればアドレスをお願いいします。
- ベストアンサー
- その他([技術者向] コンピューター)
- マルコフ過程の定常状態を利用しての確率問題について
１匹のハツカネズミがリング形の円形籠内に入れられている。籠は通路で連結された３つの仕切り１，２，３をもっている。ハツカネズミは１時間に２回、仕切り１から仕切り２へ行き、１から３へ４回行く。また、２から１へ６回、２から３へ４回行く、最後に３から１へ３回、３から２へ１回行くことが実験的に長期にわたり観察されている。ハツカネズミはt=0で仕切り１にいることが観察された。１５分の終りに、ハツカネズミが仕切り１にいる確率はいくらか。 連続マルコフ過程に対する微分方程式は dP1/dt=-6P1+6P2+3P3, dP2/dt=2P1-10P2+P3, dP3/dt=4P1+4P2-4P3 で、 定常状態確率は平衡方程式をといて、P1(∞)=3/8,P2(∞)=1/8,およびP3(∞)=1/2となる。 ここまでは理解できますが、これから先が良く解りません。 係数行列の特性根はつぎの方程式を満たす： {{-6 - r, 2, 4},{6, -10 - r, 4},{3, 1, -4 - r}} = 0 これよりr=0,-8,および-12が得られる。 この辺りの計算の仕方は出来ますが、以降不明な事ばかりです。 それゆえ、過程に対する微分方程式の解はつぎの形をとる： P1(t)=3/8+A1e^-8t +A2e^-12t P2(t)=1/8+B1e^-8t +B2e^-12t P3(t)=1/2+(-A1-B1)e^-8t +(-A2-B2)e^-12t この式はどの様な導出過程から現れるのかお教え下さい。 第３方程式の係数は、すべてのtの値に対し、P1(t)+P2(t)+P3(t)=1を満たすようでなければならないことに注意せよ。 もし、P1(t),P2(t),およびP3(t)に対するこの解を、いま３微分方程式のどれかの１つに代入する、たとえば、初めの式に代入すれば、定数間のつぎの関係式が得られる： -8A1e^-8t -12A2e^-12t = -6A1e^-8t -6A2e^-12t +6B1e^-8t +6B2e^-12t +3(-A1-B1)e^-8t +3(-A2-B2)e^-12t この関係式の具体的な導出過程をお教え下さい。 それゆえ、e^-8tとe^-12tとの係数を等しく置くと、つぎの２つの方程式が展開される： -8A1=-6A1+6B1-3A1-3B1 -12A2=-6A2+6B2-3A2-3B2 そこで、B1=A1/3およびB2=-A2が得られる。 何故e^-8tとe^-12tとの係数を等しく置くと２つの方程式に出来るのか具体的な導出過程をお教え下さい。また、何故e^-8tとe^-12tとの係数を等しく置く事が良いのかお教え下さい。 他の２方程式に代入しなくて、１つの微分方程式に代入するだけで十分である。これは理論から示唆されていた。もちろん、その理由は、３定数がすでに定常状態値として決定されているということである。そして、これらの値は系を満たす。 そこで、この特殊なマルコフ過程の微分方程式の解は、 P1(t)=3/8+A1e^-8t +A2e^-12t P2(t)=1/8+A1/3 e^-8t -A2e^-12t P3(t)=1/2-4A1/3 e^-8t である。 任意の定数の正しい個数がいま存在し、これらの定数は、初期条件P1(0)=1,P2(0)=0,P3(0)=0から、1=3/8 +A1+A2,および0=1/8 +A1/3 -A2を満たすように、決定されなければならない。これらより、A1=3/8およびA2=2/8が得られる。 A1=3/8、A2=2/8は式を計算して求める事は出来ますが、どの様な事を言っているのか解りません。お教え下さい。（この初期条件を代入するなりした？その導出過程を丁寧に示して下さい。） 微分方程式と境界条件を満たす最終解は P1(t)=3/8+(3/8)e^-8t +(2/8)e^-12t P2(t)=1/8+(1/8) e^-8t -(2/8)e^-12t P3(t)=1/2-(1/2) e^-8t である。そこで、ハツカネズミが、t=1/4において１にいる確率は P1(1/4)=3/8+(3/8)e^-2 +(2/8)e^-3 =(1/8)3e^3+3e+2/e^3で約0.44である。 最後は単に数値を代入しているだけのようなので解ります。
- ベストアンサー
- 数学・算数
- エントロピーを求める問題
事象系A=｛a1,a2}および事象系B={b1,b2}において、結合確率P(a1,b1)=0.1,P(a1,b2)=0.2,P(a2,b1)=0.3,P(a2,b2)=0.4が与えられているとき事象系AとBのエントロピーH(A),H(B)を求めなさい。 この問題の解き方がわかる方教えてください。
- ベストアンサー
- 数学・算数
- 情報量、条件付きエントロピーについて
情報量、条件付きエントロピーについて質問があります。 事象A:サイコロを振って出た目 事象B(b1,b2) b1:サイコロの目は3の倍数 b2:サイコロの目は3の倍数以外 サイコロは普通のサイコロです。(1から6全て確率1/6) この時、サイコロの目が事前に3の倍数だと分かっている時の、AのエントロピーH(A|b1)を求めよという問題がわかりません。 どうか教えて下さい。
- 締切済み
- 数学・算数
