- ベストアンサー
情報のエントロピーについての質問です。
情報のエントロピーについての質問です。 無記憶情報源Ｓの通報およびその発生確率 通報 発生確率 Ａ 0.3 Ｂ 0.2 Ｃ 0.04 Ｄ 0.16 Ｅ 0.3 （１）情報源ＳのエントロピーＨｓの求め方。 （２）情報源Ｓの２次元拡大情報Ｓ’のエントロピーＨｓ’の求め方。 以上の２つの考え方をお願いします。 もし参考になりそうなページをご存じであればアドレスをお願いいします。
- mottyomettyo
- お礼率55% (20/36)
- その他([技術者向] コンピューター)
- 回答数1
- ありがとう数1
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
http://www.infonet.co.jp/ueyama/ip/binary/entropy.html 平均情報量電卓に(1)ならA～Eの5つの確率、(2)ならA～Eをマトリックスで掛け算した25つの確率を入力してあげれば計算が可能
関連するQ&A
- 情報源のエントロピーの計算
以下の問題について教えてください ４つのアルファベット（a,b,c,d)からなる情報源があり、それぞれの情報の発生確率は P(a)=1/8, P(b)=1/4, P(c)=1/8, P(d)=1/2である。この情報源のエントロピーを求めよ。
- ベストアンサー
- 物理学
- エントロピーの計算について
問題が解けないので投稿しました。 サイコロゲームのD,A,B,C,E 5人のそれぞれの目の出る確率分布が、Pd＝（1/6 ,1/6 ,1/6 ,1/6 ,1/6） Pa＝（1/3 , 0, 0, 1/3, 1/3, 0) Pb＝（1/2, 0, 0, 0, 1/2, 0） Pc＝（0, 0, 1, 0, 0, 0） Pe＝(1/4, 0, 0, 1/4, 1/4, 1/4)とするとき、(i)それぞれの情報エントロピーを求めよ。(ii)また、Dに対するほかの4人の相対エントロピーを求めよ。 全くわからないので途中式とか書いていただくと助かります。 よろしくお願いします。
- 締切済み
- 数学・算数
- エントロピーとユークリッド距離の違い
相対エントロピー（KL情報量）は、確率分布同士の距離を測る尺度として定義されていて、ある分布ｐの起こりやすさ（あいまいさ）を表すものと理解しています。 http://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%AB%E3%83%90%E3%83%83%E3%82%AF%E3%83%BB%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%BC%E6%83%85%E5%A0%B1%E9%87%8F 疑問として、ユークリッド距離と相対エントロピーはどちらの方が利点があるのでしょうか？起こりやすさを表すのであれば、相対エントロピーを考える方がよい気がしています。 たとえば、ある冬の平均気温を観測したら a＝5℃ b＝11℃ c＝6℃ ・・・ というデータが得られたとして、普通にユークリッド距離として（a－b）*（a－b）を考えると、ユークリッド距離の場合は観測データのみで良さを測るため、その場所の特長や暖冬の日などの状況に対処できていないと考えられます。 相対エントロピー（KL情報量）なら起こりやすさを表す確率を使えるので、そのような特長も加味できる？ので、相対エントロピーの方が良いのではないかと考えています。 実際はどうなんでしょうか？ 御存知の方、教えてください。 よろしくお願いします。
- 締切済み
- 数学・算数
- ボルツマンのエントロピーと線素の鎖
ある線素（長さd，N個，1次元）の鎖を考えた時、鎖が内部エネルギーを一定に保って長さを僅かに変化させた時に鎖の内部に働く力Fが F＝－T(dS/dl) となることの説明の仕方を教えて下さい。 （※SはエントロピーS＝klogW、dlは変化させた鎖の長さとそれぞれしています。）
- ベストアンサー
- 物理学
- 情報量とエントロピーの関係について
大学の物理化学の講義で、異なる2種類の気体を混合した際のエントロピーの変化量は ΔS=-Rn{x_alog(x_a)+x_blog(x_b)} （x_a, x_bは気体のモル分率、Rは気体定数、nは全モル、logは自然対数） となることを習いました。先生によれば、これは情報量と関係があるとのことでした。 そこで、m種類の気体の混合とl(<m)種類の気体の混合において、どちらのエントロピーの変化がどれだけ大きくなるのか、またそれが情報量とどのような関係にあるのか考えました。 まず、２つの体積が等しい球形の容器を用意し、それらを仕切板で、それぞれm個の部屋とl個の部屋に区切ります。ただし、部屋は互いに区別できないとします（上から見ると、ホールケーキをm等分したときのような分け方になります）。 次に、m個の部屋にm種類の気体を n/m molずつ入れていきます。同様にl個の部屋にも n/l molずつ気体を入れます。ただし、気体については「それぞれが異なる」ということしかわかっていないとします。 最後ににそれらを温度、圧力が一定の部屋に置き、仕切り版を全て一斉に取り除きます。 するとエントロピーの増加はm個の気体の方では Rnlogm、l個の気体の方では Rnloglとなり、差がRnlog(m/l) となるので、たしかに情報量の比 m/l と明確な関係があるとわかりました。 しかし、以下の思考実験では、情報量に差があってもエントロピーが同じになることもあるという結果になりました。 まず、上の実験と同じ容器を用意し、m個の仕切り版で区切り、m種類の気体を n/m molずつ入れ、温度、圧力が一定の部屋に置きます。 ここで、仕切り版の取り方を(1)時計回りに一つずつ取る (2)ランダム一つずつに取る の二通りにすると、仕切り版を一つずつ取る取り方は全部でm!通りあるので、(1)では仕切り版の取り方は確率1/mでわかりますが（始めの一つはわからない）、(2)では確率1/m!でわかります。ここで情報量の差（不確かさの差？）が (m-1)! 倍だけ生じると思うのですが、エントロピーは状態量なのでその変化は仕切り版の取り方によらず同じになります。 この思考実験のどこかが間違っていますか？ それともエントロピーと情報量は必ずしも相関しないのですか？
- 締切済み
- 物理学
- シャノンのエントロピーの計算について
以下の問題を解いていてわからないところがあるので、教えてください。 「６階建てで各階に１号室から４号室まで24室があるマンションに住んでいる友人を訪ねるものとする。 友人の住んでいる階が分かった時に得られる情報量は何ビットか」 平均情報量は S=Σ-PilogPi 友人の部屋が見つけられる確率は1/24なので Pi＝1/24 この場合のシャノンエントロピーは －（1/24)log2(1/24)＝？？ この計算から先はどうなるのでしょうか？
- 締切済み
- 数学・算数
- 情報理論の問題でわからない問題があります
情報理論の問題でわからない問題があるのでご回答願います 問題文 『Ｕ，Ｖ，Ｗの３種の文字列が次々と発生するマルコフ情報源で、ある文字が発生した次の時刻には同じ文字が1/2の確率で、別の二文字のいずれかがそれぞれ1/4の確率で発生する情報源を考える たとえばＵが発生した次の時刻には、Ｕが1/2の確率で、Ｖ，Ｗがそれぞれ1/4確率で発生する。 この情報源の一文字当たりのエントロピーはいくらか。なお発生する過程は定常過程とする。』
- 締切済み
- 数学・算数
- エントロピー（情報量）の性質
情報理論の参考書で下のような、エントロピーに関する問題がありました。 3つの確率変数X,Y,Zについて次の(a)～(d)を証明せよ。また、その意味を解釈せよ。 (a) H(X,Y,Z)≦H(X)＋H(Y)＋H(Z) (b) H(X,Y,Z)＝H(X|Y,Z)＋H(Y|Z)＋H(Z) (c) H(X,Y|Z)≦H(X|Z)＋H(Y|Z) (d) H(X|Y,Z)≦H(X|Z)≦H(X) 証明はできたんですが、意味を解釈するというのがうまく説明できません。 一応自分なりに考えてみたんですが、どうも自信がありません。 どなたか、チェックしてくれれば嬉しいんですが・・・ よろしくお願いします。 (a)X,Y,Zの値を同時に知ったときに得られる情報量より、X,Y,Zの値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (b)Z→Y→Xという順で値を知ったとすれば、Z,Y,Xのそれぞれの値を知った時点で得られるそれぞれの情報量の和は、X,Y,Zの値を同時に知ったときに得られる情報量に等しい。 (c)Zの値が既知であっても、(a)と同様に値を同時に知ったときに得られる情報量より、値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (d)YとZの値が既知のときより、Zの値だけが既知のときの方が、そしてZの値だけが既知のときより、既知の値がないときの方が、Xの値を知って得られる情報量は大きい。すなわち、得ている情報が少ないほど、情報により得られる情報量が大きくなる。
- 締切済み
- 数学・算数
- 情報理論でのハフマン符号・・・？
学校で情報理論を習っていて、 ハフマン符号化のやり方は、習いました。 ２元情報源を非等長でハフマン符号化は、 たとえば、0,1を確率0.8,0.2で発生する 記憶のない情報源ｓでは、確率の大きい0の ランレングスを利用すれば、２元情報源を ランレングスハフマン符号化すればできる らしいのですが、 ４元情報源を非等長でハフマン符号化をす るのには、どうすれば分かりません。 ２元と同じようにランレングスでできる らしいのですが・・・。 どなたかアドバイスお願いします。
- 締切済み
- その他（学問・教育）
お礼
分かりやすい説明とページのアドレスありがとうございました。