2元対称通信路の伝送情報量の計算について
- 2元対称通信路の伝送情報量を求める式は、I = ΣΣP(a,b) log P(a,b)/P(a)・P(b)です。
- 計算において確率や式の代入にミスがある可能性が考えられます。
- また、エントロピーを用いた計算によって求まる値と一致しない場合もあります。
- ベストアンサー
2元対称通信路についてです。
0 1 送信記号A=(1/2 1/2) 通信路行列 T = (3/4, 1/4 ) ( 1/4, 3/4 ) である２元対称通信路の伝送情報量を求めよという問題において 伝送情報量 I = ΣΣP(a,b) log P(a,b)/P(a)・P(b) という式で表されるようなのです。答えは約0.189になるようなのですが全然一致しないんです。 求まった確率は次のようになりました P(a0)=P(a1)=1/2 P(b0)=1/2*3/4+1/2*1/4=1/2 P(b1)=1-P(b0)=1/2 P(a0|b0)=P(a1|b1)=3/4 P(a0,b0)=P(a1,b1)=3/8 これらの値を式に代入して P(a0,b0)*log(P(a0,b0)/P(a0)*P(b0)) + P(a1,b1)*log(P(a1,b1)/P(a1)*P(b1)) を計算したのですが0.189には遠くなってしまいました。 求めた確率、または式への代入にミスがあったのでしょうか？ミスがあればご教授願います。 ちなみにエントロピーを用いた計算では0.189が求まりました。
- r-jenex
- お礼率53% (8/15)
- 数学・算数
- 回答数2
- ありがとう数1
- みんなの回答 （2）
- 専門家の回答
質問者が選んだベストアンサー
ΣΣP(a,b) log P(a,b)/P(a)・P(b) ＝P(a0,b0)*log(P(a0,b0)/P(a0)*P(b0)) + P(a1,b1)*log(P(a1,b1)/P(a1)*P(b1)) +P(a1,b0)*log(P(a1,b0)/P(a1)*P(b0)) + P(a1,b0)*log(P(a1,b0)/P(a1)*P(b0)) です。 もうちょっと計算すれば大丈夫でしょう＾＾
その他の回答 (1)
- Tacosan
- ベストアンサー率23% (3656/15482)
とりあえず最後まで計算してみてはどうだろうか.
お礼
マイナスはないと思い込んでました。 なにをやっていたんでしょうか
関連するQ&A
- 2元対称通信路のビット誤り率
「2元対称通信路に4ビットの情報を伝送したときに1ビットの誤りが発生する確率」を求める場合として，私は以下のように考えて求めました。 このことについて，不明な点がありますので教えていただきたいと思っております。 4ビットの情報を伝送するということなので、全部の通り数は16通りあり，その中で1ビットの誤りが発生しているものは4通りあります。 そこで，このことをふまえ2項分布の定義を利用し計算しました。 それは， 0を伝送し0になる率が(1-P) 0を伝送し1になる率がP （対称なので1を伝送する場合も同じです） とした場合， 4C1(P)^1(1-P)^4-1 =4P(1-P)^3 これを展開すると， =4P-12P^2+12P^3-4P^4 となりました。 そこで，皆さまに教えていただきたいのは この考え方でよいのか？ そしてその場合，”答”のあらわし方は展開する前の かたちか展開した後のかたちの方がよいのか？ ということです。 また，間違っている場合は正しい考え方等を教えて いただければと思っております。 よろしくお願いします。
- 締切済み
- 数学・算数
- ２元消失通信路(BEC)の伝送情報量
記号0の生起確率を p 、判定不能率を u とした時の２元消失通信路の伝送情報量が I (A;B) = (1-u)H(p) で表されることを証明してください。お願いします。
- 締切済み
- 科学
- エントロピーを求める問題です。
エントロピーを求める問題です。 A、Bからなる情報源があり、2つの文字の結合確率は次のとおりである。 P（A,A）＝0.7、P（A,B）＝0.1、P（B,A）＝0.1、P（B,B）＝0.1 この情報源を単純マルコフ情報源とするとき、この情報源のエントロピーを求めよ。 答えは、0.63なのですが、どうしても導出できません。もし。解かる方がいたら教えてください。
- 締切済み
- 数学・算数
- 情報量
情報量 ＝ log() または、エントロピーで計算することは知っているのですが、「雑談」の情報量はどのようにして計算したらいいのでしょうか？？ いまいちピンとこないんですけど、計算なんてできるんでしょうか。。。
- ベストアンサー
- その他（学問・教育）
- 情報源のエントロピーの計算
以下の問題について教えてください ４つのアルファベット（a,b,c,d)からなる情報源があり、それぞれの情報の発生確率は P(a)=1/8, P(b)=1/4, P(c)=1/8, P(d)=1/2である。この情報源のエントロピーを求めよ。
- ベストアンサー
- 物理学
- シャノンの結合エントロピーについて
タイトルどおりシャノンの結合エントロピーについてなんですが 結合事象系Ａ，Ｂが存在する場合、 Pi = p(Ai ∩ Bj) H(AB) = -∑∑Pij log Pij = -∑∑p(Ai ∩ Bj) logp (Ai ∩ Bj) = -∑∑p(Ai)p(Bj | Ai) log p(Ai)p(Bj | Ai) . . . H(AB)= H(A) + H(B | A) という式になるのはわかるのですが、結合事象系Ａ、Ｂ、Ｃと３つ存在する場合の式の展開がわかりません。 参考書によると上記の式を基に H(ABC) = -∑∑∑Pijk log Pijk で求めることができると書いてありましたが、上記の式のような展開の仕方が私ではできません。 特に、条件付確率部分の展開がわかりません。 ネットでいろいろ調べましたが、どこも結合事象系が2つの場合の結合エントロピーの解法しか見つかりませんでした。 どなたかご教授お願いします。
- ベストアンサー
- 数学・算数
- マルコフ情報源のエントロピーレートの導出方法について教えて下さい。
マルコフ情報源のエントロピーレートの導出方法について教えて下さい。 大学の過去問です。 解答が無いので自力で解かなければならないのですが、行き詰まってしまいました。 もし助けて頂ければ助かります。 状態A,B,Cを行き来する定常的マルコフ情報源のエントロピーレートを求める問題です。 状態遷移確立がそれぞれ P(A|A)=0.4 P(B|B)=0.5 P(C|C)=0.8 P(A|B)=0.25 P(B|A)=0.3 P(C|B)=0.25 P(A|C)=0.1 P(B|C)=0.1 P(C|A)=0.3 で与えられています。 自分の考える解き方の大筋としては (1) 定常分布の式を立てる (2) (1)よりそれぞれの定常確率を求める (3) 系のエントロピーを求める (4) (2)、(3)とマルコフ情報源のエントロピーレート導出の 公式により解を求める という感じです。 (1)において P(A)=P(A)*0.4+P(B)*0.25+P(C)*0.1 P(B)=P(A)*0.3+P(B)*0.5+P(C)*0.1 P(C)=P(A)*0.3+P(B)*0.25+P(C)*0.8 P(A)+P(B)+P(C)=1 の連立方程式を立て、解こうと試みたのですが。 解を得る事が出来ません。 http://www.usamimi.info/~geko/arch_acade/elf001_simult/index.html のプログラムでの演算も試してみましたがやはり解を得られませんでした。 自分の計算式に何か間違いがあるのでしょうか？ また自分の解法自体にも問題がありましたらご指摘をお願い致します。 今回、情報理論を初めて勉強しているもので、もしかして全く見当違いの質問かも しれませんが、宜しくお願い致します。
- 締切済み
- 数学・算数
- 正規マルコフ情報源のエントロピーについて
次の行列であらわされる正規マルコフ情報源のエントロピーを計算せよ、という課題を出されました (すでに回収も終わっているのでカンニングにはなりません、念のため) P=| 0.2 0 0.8 | | 0.4 0.6 0 | | 0 0.3 0.7 | まず定常確率を求めたのですが求まった定常確率が間違っていたようなのです。 以下に求める際に用いた式を載せますので間違っている点があればご教授ください。 また、その後のエントロピーの計算に関しても経過と答えを載せてほしいです。 P(0)=0.2P(0)+0.8P(2) P(1)=0.6P(1)+0.4P(0) P(2)=0.7P(2)+0.3P(1) P(0)+P(1)+P(2)=1 この式を解くと各値が1/3となりました。 最後に私はこの辺をあまり理解できていないため質問文にも至らないところが多々あると思います。 そのようなことがあれば補足欄で説明したいと思います。
- ベストアンサー
- 数学・算数
補足
計算足りてませんでしたね。 しかし P(a0,b0)*log(P(a0,b0)/P(a0)*P(b0))=3/8*log(3/2)=0.219・・・ となってこの時点で答えが合わないんですよ。どこか計算ミスっているんでしょうか？