- 締切済み
情報量、条件付きエントロピーについて
情報量、条件付きエントロピーについて質問があります。 事象A:サイコロを振って出た目 事象B(b1,b2) b1:サイコロの目は3の倍数 b2:サイコロの目は3の倍数以外 サイコロは普通のサイコロです。(1から6全て確率1/6) この時、サイコロの目が事前に3の倍数だと分かっている時の、AのエントロピーH(A|b1)を求めよという問題がわかりません。 どうか教えて下さい。
- crossgame1
- お礼率0% (0/34)
- 数学・算数
- 回答数1
- ありがとう数0
- みんなの回答 （1）
- 専門家の回答
みんなの回答
- muturajcp
- ベストアンサー率78% (505/644)
サイコロの目がyで3の倍数の確率を p(b1,y) とすると p(b1,3)=p(b1,6)=1/6 p(b1,1)=p(b1,2)=p(b1,4)=p(b1,5)=0 サイコロの目が3の倍数の確率は p(b1)=p(b1,3)+p(b1,6)=1/6+1/6=1/3 だから H(A|b1)=-Σ_{y∈A}p(b1,y)log{p(b1,y)/p(b1)} H(A|b1)=-(1/6)log{(1/6)/(1/3)}-(1/6)log{(1/6)/(1/3)} H(A|b1)=-(1/6)log(1/2)-(1/6)log(1/2) H(A|b1)=-(1/3)log(1/2) H(A|b1)=(1/3)log2 H(A|b1)=(log2)/3
関連するQ&A
- 条件付きエントロピー
確率変数X,Yが与えられたときの条件付きエントロピーの計算方法がまったくわからないため、質問をさせていただきます。 サイコロの出目を確率変数Xとし、Y=X^2 mod 3 としたときの 条件付きエントロピーH(X|Y)はどのようにして求めればよいのでしょうか？ 参考となるウェブサイト等のURLでも構いません。 よろしくお願いします。
- ベストアンサー
- 数学・算数
- エントロピーを求める問題
事象系A=｛a1,a2}および事象系B={b1,b2}において、結合確率P(a1,b1)=0.1,P(a1,b2)=0.2,P(a2,b1)=0.3,P(a2,b2)=0.4が与えられているとき事象系AとBのエントロピーH(A),H(B)を求めなさい。 この問題の解き方がわかる方教えてください。
- ベストアンサー
- 数学・算数
- エントロピーの計算について
問題が解けないので投稿しました。 サイコロゲームのD,A,B,C,E 5人のそれぞれの目の出る確率分布が、Pd＝（1/6 ,1/6 ,1/6 ,1/6 ,1/6） Pa＝（1/3 , 0, 0, 1/3, 1/3, 0) Pb＝（1/2, 0, 0, 0, 1/2, 0） Pc＝（0, 0, 1, 0, 0, 0） Pe＝(1/4, 0, 0, 1/4, 1/4, 1/4)とするとき、(i)それぞれの情報エントロピーを求めよ。(ii)また、Dに対するほかの4人の相対エントロピーを求めよ。 全くわからないので途中式とか書いていただくと助かります。 よろしくお願いします。
- 締切済み
- 数学・算数
- 条件付き確率 至急お願いします！
条件付き確率についての問題で、 「xy平面上に点Pが存在している。点Pは原点からスタートして、サイコロを振り、3の倍数の目が出たときx軸方向に+2、それ以外の目が出たときy軸方向に+1だけ移動する。 この試行を5回繰り返したとき、Pが(4,1)を通ったうえで(8,1)に存在している条件付き確率を求めよ。」 というものがあり、次のような解答を立てたのですが正しいでしょうか？ 事象A,Bを 事象A：試行を3回繰り返して(4,1)に至る 事象B：試行を5回繰り返して(8,1)に至る として、それぞれが起きる確率をP(A),P(B)とすると、 P(AかつB)=3C2*(2/6)^2*(4/6)^2*(2/6)^2, P(A)=3C2*(2/6)^2*(4/6)^2 であるから、 求める条件付き確率PA(B)=P(AかつB)/P(A)=(2/6)^2=1/9
- 締切済み
- 数学・算数
- 条件付き確率のイメージについて
条件付き確率の問題をやっていて不明な点があります。 大小二つのサイコロを振るとき事象A,Bを次のように定める。 A:大きいサイコロの目が6 B:目の和が11 例えばこの問題で P(B|A)…Aが起きるという条件の下でのBの確率 P(AかつB)…Aが起きるかつBが起きる確率 この二つの値は確かに違うのですが、意味合い的な違いがわかりません。イメージを掴みたいです。教えてください。
- 締切済み
- 数学・算数
- エントロピー（情報量）の性質
情報理論の参考書で下のような、エントロピーに関する問題がありました。 3つの確率変数X,Y,Zについて次の(a)～(d)を証明せよ。また、その意味を解釈せよ。 (a) H(X,Y,Z)≦H(X)＋H(Y)＋H(Z) (b) H(X,Y,Z)＝H(X|Y,Z)＋H(Y|Z)＋H(Z) (c) H(X,Y|Z)≦H(X|Z)＋H(Y|Z) (d) H(X|Y,Z)≦H(X|Z)≦H(X) 証明はできたんですが、意味を解釈するというのがうまく説明できません。 一応自分なりに考えてみたんですが、どうも自信がありません。 どなたか、チェックしてくれれば嬉しいんですが・・・ よろしくお願いします。 (a)X,Y,Zの値を同時に知ったときに得られる情報量より、X,Y,Zの値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (b)Z→Y→Xという順で値を知ったとすれば、Z,Y,Xのそれぞれの値を知った時点で得られるそれぞれの情報量の和は、X,Y,Zの値を同時に知ったときに得られる情報量に等しい。 (c)Zの値が既知であっても、(a)と同様に値を同時に知ったときに得られる情報量より、値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (d)YとZの値が既知のときより、Zの値だけが既知のときの方が、そしてZの値だけが既知のときより、既知の値がないときの方が、Xの値を知って得られる情報量は大きい。すなわち、得ている情報が少ないほど、情報により得られる情報量が大きくなる。
- 締切済み
- 数学・算数
- 情報量とエントロピーの関係について
大学の物理化学の講義で、異なる2種類の気体を混合した際のエントロピーの変化量は ΔS=-Rn{x_alog(x_a)+x_blog(x_b)} （x_a, x_bは気体のモル分率、Rは気体定数、nは全モル、logは自然対数） となることを習いました。先生によれば、これは情報量と関係があるとのことでした。 そこで、m種類の気体の混合とl(<m)種類の気体の混合において、どちらのエントロピーの変化がどれだけ大きくなるのか、またそれが情報量とどのような関係にあるのか考えました。 まず、２つの体積が等しい球形の容器を用意し、それらを仕切板で、それぞれm個の部屋とl個の部屋に区切ります。ただし、部屋は互いに区別できないとします（上から見ると、ホールケーキをm等分したときのような分け方になります）。 次に、m個の部屋にm種類の気体を n/m molずつ入れていきます。同様にl個の部屋にも n/l molずつ気体を入れます。ただし、気体については「それぞれが異なる」ということしかわかっていないとします。 最後ににそれらを温度、圧力が一定の部屋に置き、仕切り版を全て一斉に取り除きます。 するとエントロピーの増加はm個の気体の方では Rnlogm、l個の気体の方では Rnloglとなり、差がRnlog(m/l) となるので、たしかに情報量の比 m/l と明確な関係があるとわかりました。 しかし、以下の思考実験では、情報量に差があってもエントロピーが同じになることもあるという結果になりました。 まず、上の実験と同じ容器を用意し、m個の仕切り版で区切り、m種類の気体を n/m molずつ入れ、温度、圧力が一定の部屋に置きます。 ここで、仕切り版の取り方を(1)時計回りに一つずつ取る (2)ランダム一つずつに取る の二通りにすると、仕切り版を一つずつ取る取り方は全部でm!通りあるので、(1)では仕切り版の取り方は確率1/mでわかりますが（始めの一つはわからない）、(2)では確率1/m!でわかります。ここで情報量の差（不確かさの差？）が (m-1)! 倍だけ生じると思うのですが、エントロピーは状態量なのでその変化は仕切り版の取り方によらず同じになります。 この思考実験のどこかが間違っていますか？ それともエントロピーと情報量は必ずしも相関しないのですか？
- 締切済み
- 物理学
