- 締切済み
通信理論における相互情報量とは？
通信路符号化の勉強をしているんです。その中で相互情報量というものが出てきました。検索してみたところ相互情報量とは「Ｂ（受信側）が実質的に持っているＡ（送信側）の情報」ということらしいのです。その言いたいことはなんとなく分かったのですがそれがなぜ下の式で表せるのかが分かりません。もし分かる人がいれば教えてください。 I(A;B) = H(A) - H(A|B)
- fantasticlights
- お礼率24% (21/87)
- 数学・算数
- 回答数1
- ありがとう数0
- みんなの回答 （1）
- 専門家の回答
みんなの回答
- N64
- ベストアンサー率25% (160/622)
関連するQ&A
- 正規化相互情報量について
添付ファイル上の正規化相互情報量の算術平均と相互情報量の定義式の意味が分かりません。Ｉは関数なのか？なぜ相互情報量Ｉ（Ｘ；Ｙ）の定義式に突然，Ｂ，Ａが出てくるのか？ご指導下さい。
- ベストアンサー
- 数学・算数
- 大学の情報理論の課題でわからないところがあります。
大学の情報理論の課題でわからないところがあります。 誰か解説をお願いします。 (問題1） ｛0,1｝の二元符号の通信路で、ビット誤り率0.25 の通信路がある。 ｛0.1｝のシンボル生起確率がそれぞれ ｐ, １－ｐ の時、 (a)通信路行列を書け (b)相互情報量を式で書け (c)通信路容量を求めよ (問題2) 0101 を生成多項式 G(x) = x^3＋x+1 の CRC符号 により符号化し、送信符号のビット列を書け 教科書や配布された資料に載ってる解説や公式を見ても どう当てはめていけばよいかわからず困っています。 よろしくお願いします。
- ベストアンサー
- 科学
- CDMA通信システムがわからない！！（相関関数？）
こんにちは。今CDMA通信システムを勉強しているのですが、よくわからない部分があります。自分なりに理解したことをまとめると、 （１）複数の送信者が同時に情報を送信しても通信が可能である。 （２）ユーザーは自分自身の拡散符号というものを持っている。 （３）複数の送信者が送信した情報は-1か1の情報にされ、それと拡散符号によって複数の送信者の信号が１つの合成信号となる。 （４）合成信号が受信者側に行き、拡散符号を用いて必要な情報を得る。 だいたいこんな感じで理解しているのですが、勉強している段階で自己相関関数や相互相関関数という言葉も出てきました。これは何に使うのでしょうか？ また話を携帯のメールの話に例えると拡散符号というのはメールのアドレスのようなものという感じでいいのでしょうか？ 理解が曖昧で不安です。補足質問もさせていただくこともあるかも知れませんがよろしくお願いします。 また何でもいいのでアドバイスをしていただくとありがたいです。
- ベストアンサー
- その他([技術者向] コンピューター)
- ２元消失通信路(BEC)の伝送情報量
記号0の生起確率を p 、判定不能率を u とした時の２元消失通信路の伝送情報量が I (A;B) = (1-u)H(p) で表されることを証明してください。お願いします。
- 締切済み
- 科学
- 確率の問題が解けません！！
天気を晴れ、雨の二種類とします。実際の天気Aを通信路における送信記号a1(晴れ)、a2(雨)と考え、天気予報Bを受信信号b1(晴れ)、b2(雨)とします。与えられている情報が下記のとき、相互情報量I(A;B)を求めよ。 p(a1)=0.57 p(a2)=0.43 p(a1|b1)=0.75 p(a2|b1)=0.30 p(a1|b2)=0.25 p(a2|b2)=0.70 という問題なのですが、公式I(A;B)=H(A)-H(A|B)を用いようと考えましたが、p(b)をどのように求めればいいかわかりません。また、一様通信路だと考えて解いてみましたが、答えと食い違いました。 ちなみに答えは0.149bitです。
- ベストアンサー
- 数学・算数
- 情報通信の問題なのですが・・・
情報通信の問題なのですが・・・ 回線速度Ｃ（ビット/秒）の専用全２重回線を用いて、ホストＡからホストＢへ固定長ＬＤ（ビット）のパケットを stop-and-wait ARQプロトコルと呼ばれる以下の手順に従い伝送することを考える。 ホストＡはパケットを一つ送信した後、ホストＢからのＡＣＫを持つ。 もし、送信後、タイムアウト時間Ｔ（秒）以前にＡＣＫを受信すれば、直ちに次のパケットの送信を行う。 一方、送信後、タイムアウト時間ＴまでにＡＣＫを受信しなければ、送信は失敗したとみなし、再送する。 ホストＡは先行するパケットに対するＡＣＫを受信するまで後続のパケットの送信を開始しないことに注意する。 他方、ホストＢはパケットを正しく受信した場合、直ちにホストＡへ固定長ＬＡ（ビット）のＡＣＫを送信する。 また、受信したパケットに誤りがある場合はそれを破棄する（ＮＡＫは送信しない） なお、誤り検査に必要な時間は無視できると仮定する。 ホストＡとホストＢの間の往復伝播遅延をＲ（秒）とする。 ホストＡから送信された任意のパケットに対するＡＣＫをホストＡが受信する確率を1-ｐ（0＜ｐ＜1）として、以下の問いに答えよ。 （i）ホストＡがパケット送信後、タイムアウトが起こる前に、送信したパケットに対するＡＣＫを受信したとする。 このとき、ホストＡがこのパケットの最初のビットを送信してからＡＣＫの最後のビットを受信するまでの時間Ｓ（秒）を求めよ。 Ｔ＞Ｓと仮定する。 （ii）ホストＡが一つのパケットの送信を開始してから最終的にＡＣＫを受け取るまでに必要な時間の平均Ｈ（秒）を、 Ｓ、ｐならびに以下で求められるＦを用いて表せ。 Ｆ＝ＬＤ/Ｃ+Ｔ （iii）ホストＡには常に送信待ちパケットがあると仮定する。 このとき達成される最大スループットθをＨを用いて表せ。 ただし、スループットとは１秒当たりの平均送信成功パケット数を指す。 どなたかご解答をよろしくお願いします
- ベストアンサー
- 情報処理技術者
- 情報理論の通信路容量について
情報理論で下の問題が分かりません。 １６進数４桁のデータを使って毎秒１データの速度で通信している。 通信機器が故障して１データ３桁で受信されるようになった。 いずれか１桁が消滅するようになったのだが, 消滅する桁は均等に分布し,どの桁か予想ができない。 このときの通信路容量を求めよ。 よろしくお願いします
- 締切済み
- 物理学
- 2元対称通信路についてです。
0 1 送信記号A=(1/2 1/2) 通信路行列 T = (3/4, 1/4 ) ( 1/4, 3/4 ) である２元対称通信路の伝送情報量を求めよという問題において 伝送情報量 I = ΣΣP(a,b) log P(a,b)/P(a)・P(b) という式で表されるようなのです。答えは約0.189になるようなのですが全然一致しないんです。 求まった確率は次のようになりました P(a0)=P(a1)=1/2 P(b0)=1/2*3/4+1/2*1/4=1/2 P(b1)=1-P(b0)=1/2 P(a0|b0)=P(a1|b1)=3/4 P(a0,b0)=P(a1,b1)=3/8 これらの値を式に代入して P(a0,b0)*log(P(a0,b0)/P(a0)*P(b0)) + P(a1,b1)*log(P(a1,b1)/P(a1)*P(b1)) を計算したのですが0.189には遠くなってしまいました。 求めた確率、または式への代入にミスがあったのでしょうか？ミスがあればご教授願います。 ちなみにエントロピーを用いた計算では0.189が求まりました。
- ベストアンサー
- 数学・算数
- 情報理論の問題
入力Xと独立かつ記憶のない誤り源Eとの積Y=XEが出力となる２元通信路を考える。 このときの相互情報量I(X;Y)と通信路容量を求めなさいという問題です。 ただし、2元誤り源P_E(1)=p、入力Xの０および１の発生確率はP_X(0)=p1，P_X(1)=p2としp1+p2=1とします。 通信路行列までしか求められていない状況です。 よろしくお願いします。
- 締切済み
- その他（学問・教育）
補足
いや、当然のそのＨＰは見ました。それでも分からないのでここで質問したわけで。 ある程度検索しても分からなかったので聞いています。