正規マルコフ情報源のエントロピー計算方法と定常確率について
- 正規マルコフ情報源のエントロピーを計算するためには、与えられた確率行列の定常確率を求める必要があります。
- 質問文章で使用されている確率行列において、定常確率を求めた結果、各状態の値は1/3となりました。
- エントロピーの計算には、求めた定常確率を用いて、式を適用することができます。具体的な計算結果を確認するため、質問文章に関連する詳細な計算過程を含めてください。
- ベストアンサー
正規マルコフ情報源のエントロピーについて
次の行列であらわされる正規マルコフ情報源のエントロピーを計算せよ、という課題を出されました (すでに回収も終わっているのでカンニングにはなりません、念のため) P=| 0.2 0 0.8 | | 0.4 0.6 0 | | 0 0.3 0.7 | まず定常確率を求めたのですが求まった定常確率が間違っていたようなのです。 以下に求める際に用いた式を載せますので間違っている点があればご教授ください。 また、その後のエントロピーの計算に関しても経過と答えを載せてほしいです。 P(0)=0.2P(0)+0.8P(2) P(1)=0.6P(1)+0.4P(0) P(2)=0.7P(2)+0.3P(1) P(0)+P(1)+P(2)=1 この式を解くと各値が1/3となりました。 最後に私はこの辺をあまり理解できていないため質問文にも至らないところが多々あると思います。 そのようなことがあれば補足欄で説明したいと思います。
- r-jenex
- お礼率53% (8/15)
- 数学・算数
- 回答数3
- ありがとう数2
- みんなの回答 (3)
- 専門家の回答
質問者が選んだベストアンサー
> 定常確率に関して > 口頭で各値が1/3に~なったと説明したところ教授にそれは違うと否定されていたんです。1/3で合っていたなら何故否定されたのでしょう? 状態確率が列ベクトルでなく行ベクトルなのです.だから,解くべき方程式は P x = x でなくて x P = x です.これを sum x = 1 のもとで解くと x = [3 6 8]/17 です. 状態確率が行ベクトルらしいことは,P を見てわかります.行ベクトルなら,ある状態,たとえば状態 1 にいると,次の状態が 1 である確率が 0.2,2 である確率が 0,3 である確率が 0.8 で,合計が 1 になります.もし列ベクトルだったら,たとえば状態 1 にいると,次の状態が 1 である確率が 0.2,2 である確率が 0.4,3 である確率が 0 になってしまい,合計が 1 になりません.
その他の回答 (2)
- stomachman
- ベストアンサー率57% (1014/1775)
ANo.1のコメントについてです。 No.2でのご指摘の通り、数値を見れば行列かベクトルかどっちかが転置されてるのは明らかでしたね。御質問の計算にうっかりつられちゃいました。たはは。
- stomachman
- ベストアンサー率57% (1014/1775)
仮にご質問のPがマルコフ過程の遷移確率行列のことだとすると、行列Pの第(i+1)行(j+1)列は、「ある時出力された信号がiであったときに、その次の信号がjになる条件付き確率」P(j|i)を示しています。一方、このマルコフ過程の定常確率pは Pp=p となるようなベクトルp=(p(0), p(1), p(2))' (ただしp(0)+p(1)+p(2)=1。なお「'」は転置のこと)であり、行列Pとは区別しなくちゃいけません。(Pと書いたら×を喰らうでしょう。) >P(0)=0.2P(0)+0.8P(2) >P(1)=0.6P(1)+0.4P(0) >P(2)=0.7P(2)+0.3P(1) >P(0)+P(1)+P(2)=1 Pを別の文字に変えればOKですね。整理すると p(0)-p(2) = 0 p(0)-p(1) = 0 p(1)-p(2) = 0 p(0)+p(1)+p(2)=1 なので p(0)=p(1)=p(2)=1/3 が解というのもOKです。 エントロピーSを計算するには、まず「信号jが来たという条件下で次の信号を受けて得られる情報量の平均値(条件付きエントロピー)」S(j): S(j)= -Σ{i=0~2}P(i|j)log(P(i|j)) (ただしlog(x)の底は2) を出します。これはもう、デンタク叩いて計算するだけの話です。そして、先に計算しておいた定常確率p(j)を使って S = Σ{j=0~2}p(j)S(j)
お礼
回答ありがとうございます、定常確率の表記に関して無知をさらしてしまい申し訳ないです。 また、定常確率に関してなのですが回答者が口頭で各値が1/3に~なったと説明したところ教授にそれは違うと否定されていたんです。1/3で合っていたなら何故否定されたのでしょう? エントロピーに関しては計算した結果約0.89となりました。
関連するQ&A
- マルコフ情報源のエントロピーレートの導出方法について教えて下さい。
マルコフ情報源のエントロピーレートの導出方法について教えて下さい。 大学の過去問です。 解答が無いので自力で解かなければならないのですが、行き詰まってしまいました。 もし助けて頂ければ助かります。 状態A,B,Cを行き来する定常的マルコフ情報源のエントロピーレートを求める問題です。 状態遷移確立がそれぞれ P(A|A)=0.4 P(B|B)=0.5 P(C|C)=0.8 P(A|B)=0.25 P(B|A)=0.3 P(C|B)=0.25 P(A|C)=0.1 P(B|C)=0.1 P(C|A)=0.3 で与えられています。 自分の考える解き方の大筋としては (1) 定常分布の式を立てる (2) (1)よりそれぞれの定常確率を求める (3) 系のエントロピーを求める (4) (2)、(3)とマルコフ情報源のエントロピーレート導出の 公式により解を求める という感じです。 (1)において P(A)=P(A)*0.4+P(B)*0.25+P(C)*0.1 P(B)=P(A)*0.3+P(B)*0.5+P(C)*0.1 P(C)=P(A)*0.3+P(B)*0.25+P(C)*0.8 P(A)+P(B)+P(C)=1 の連立方程式を立て、解こうと試みたのですが。 解を得る事が出来ません。 http://www.usamimi.info/~geko/arch_acade/elf001_simult/index.html のプログラムでの演算も試してみましたがやはり解を得られませんでした。 自分の計算式に何か間違いがあるのでしょうか? また自分の解法自体にも問題がありましたらご指摘をお願い致します。 今回、情報理論を初めて勉強しているもので、もしかして全く見当違いの質問かも しれませんが、宜しくお願い致します。
- 締切済み
- 数学・算数
- マルコフ連鎖の問題
マルコフ連鎖に関する問題が分からなく困っています。 状態空間 S={1,2,3} で推移確率行列 |1/4 1/2 1/4| P=|2/5 1/5 2/5| |1/3 1/3 1/3| をもつ定常なマルコフ連鎖{Xn}に対して次の問いに答えよ。 (1)確率P( X2=2,X3=1 | X0=3,X1=2 )を求めよ (2)確率P( X2=1 | X0=1 )を求めよ。 (3)lim【n→∞】P( Xn=2 | X=1 )を求めよ。 (1)のみ解答の目処が立っています。 まず(2)がよく分からないので、苦し紛れに状態遷移図を書いて考えてみたところ、(1/4)*(1/4)+(1/2)*(2/5)+(1/4)*(1/3)となるかなと考えてみたのですがどうでしょうか? (3)についてはどう解いていったらいいのか分かりません。 よろしくお願いします。
- 締切済み
- 数学・算数
- マルコフ連鎖の質問です
至急解答をお願いいたします!!! マルコフ連鎖に関する問題です 下のマルコフ連鎖について 1、定常分布 2、既約になるための必要十分条件 3、p1=p2=1/2、q1=0、q2=1のとき(1)、(3)の再帰性を調べよ という3問がわからず困ってます。 <マルコフ連鎖> r:(1)から(1)に戻る確率 (r=1-p1-q1) p1:(1)から(2)へ移る確率 p2:(2)から(3)へ移る確率 q1:(1)から(3)へ移る確率 q2:(3)から(2) 1-p2:(2)から(1) 1ーq2:(3)から(1) 説明がわかりにくくて申し訳ありません。 かなり困っているので、よろしくお願い致します。
- 締切済み
- 数学・算数
- マルコフ過程の時間平均?
「マルコフ過程の時間平均は、固有値=1の 固有ベクトルと一致する」 と言ってしまってよいのでしょうか? マルコフ過程を勉強する必要が出てきたのですが、 とりあえず、 x(t+1) = x(t) P (x は確率ベクトル、Pは行列) で、 定常分布が存在したら、その確率ベクトルは、 固有値が1のときの固有ベクトルになる というのは、理解できました。 ところで、2つ質問があります。 (1) この定常分布にx(t)が収束するかどうか、は 何か知る方法があるのでしょうか? また、(特にこちらが知りたいのですが) 収束しない場合でも (2) x(0), X(1), ..., x(∞) と無限の時間の平均は、 この固有ベクトルに一致する、と言っていいのでしょうか? (シミュレーションをしていると、なんとなくそんな 感じがするのですが・・) よろしくおねがいします。
- 締切済み
- 数学・算数
- マルコフ過程(確率過程)に関する質問です!
マルコフ連鎖に関する質問です。 下のマルコフ連鎖について 1、定常分布 2、既約になるための必要十分条件 3、p1=p2=1/2、q1=0、q2=1のとき(1)、(3)の再帰性を調べよ という3問がわからず困ってます。 <マルコフ連鎖> r:(1)から(1)に戻る確率 (r=1-p1-q1) p1:(1)から(2)へ移る確率 p2:(2)から(3)へ移る確率 q1:(1)から(3)へ移る確率 q2:(3)から(2) 1-p2:(2)から(1) 1ーq2:(3)から(1) 説明がわかりにくくて申し訳ありません。 かなり困っているので、よろしくお願い致します。
- 締切済み
- 数学・算数
- マルコフ連鎖(確率過程)に関する問題です!
マルコフ連鎖に関する質問です。 下のマルコフ連鎖について 1、定常分布 2、既約になるための必要十分条件 3、p1=p2=1/2、q1=0、q2=1のとき(1)、(3)の再帰性を調べよ という3問がわからず困ってます。 <マルコフ連鎖> r:(1)から(1)に戻る確率 (r=1-p1-q1) p1:(1)から(2)へ移る確率 p2:(2)から(3)へ移る確率 q1:(1)から(3)へ移る確率 q2:(3)から(2) 1-p2:(2)から(1) 1ーq2:(3)から(1) 説明がわかりにくくて申し訳ありません。 かなり困っているので、よろしくお願い致します
- 締切済み
- 数学・算数
- マルコフ連鎖について
状態空間S={0,1,2,3}上のマルコフ連鎖の推移確率行列P=(0 1/2 0 1/2) (0 2/3 1/3 0) (0 0 0 1 ) (0 0 1/2 1/2)で与えられている (1)状態の再帰性と一時性について調べよ (2)状態の周期について調べよ この問題がわかる方いらっしゃいますか?
- 締切済み
- 数学・算数
- エントロピーを求める問題です。
エントロピーを求める問題です。 A、Bからなる情報源があり、2つの文字の結合確率は次のとおりである。 P(A,A)=0.7、P(A,B)=0.1、P(B,A)=0.1、P(B,B)=0.1 この情報源を単純マルコフ情報源とするとき、この情報源のエントロピーを求めよ。 答えは、0.63なのですが、どうしても導出できません。もし。解かる方がいたら教えてください。
- 締切済み
- 数学・算数
- マルコフチェーン式を行列で
マルコフチェーン式を行列でどうやりますか? 回答をみてもあんまりわからないです。誰か、教えてください。 例: Aの袋にしろ玉1個と黒玉2個が、Bの袋に黒玉3個が入っている。それぞれの袋から同時に1つずつとって入れ換える操作を繰り返す。この操作をn回繰り返した後に、Aの袋に白玉が入っている確率anを求めよ。
- ベストアンサー
- 数学・算数
お礼
そもそもが間違っていたんですね、勉強しなおしたいと思います。ありがとうございました