• 締切済み

エントロピーの計算について

問題が解けないので投稿しました。 サイコロゲームのD,A,B,C,E 5人のそれぞれの目の出る確率分布が、Pd＝（1/6 ,1/6 ,1/6 ,1/6 ,1/6） Pa＝（1/3 , 0, 0, 1/3, 1/3, 0)　Pb＝（1/2, 0, 0, 0, 1/2, 0） Pc＝（0, 0, 1, 0, 0, 0）　Pe＝(1/4, 0, 0, 1/4, 1/4, 1/4)とするとき、(i)それぞれの情報エントロピーを求めよ。(ii)また、Dに対するほかの4人の相対エントロピーを求めよ。 全くわからないので途中式とか書いていただくと助かります。 よろしくお願いします。

みんなの回答

  • muturajcp
  • ベストアンサー率78% (505/644)
回答No.1

(1) Hd=-6(1/6)log(1/6)=log6 Ha=-3(1/3)log(1/3)=log3 Hb=-2(1/2)log(1/2)=log2 Hc=-log1=0 He=-4(1/4)log(1/4)=log4 (2) H(a|d)=3(1/3)log((1/3)/(1/6))=log2 H(b|d)=2(1/2)log((1/2)/(1/6))=log3 H(c|d)=log(1/(1/6))=log6 H(e|d)=4(1/4)log((1/4)/(1/6))=log(3/2)

  1. カテゴリ
  2. 学問・教育
  3. 数学・算数

関連するQ&A

  • エントロピーの計算

    問題が解けないので投稿しました。 一般的にN個の事象の確率分布を{p1,p2,…,pn}とするとき、その情報エントロピーはS=-∑_(i=1)^N pilog(pi)で与えられる。このとき、情報エントロピーSを最大にする確率分布をとのときのSを求めよ。 まったくわからないので途中式もできればお願いします。 ∑の部分が見づらいのですがすみません。 よろしくお願いします。

  • エントロピーとユークリッド距離の違い

    相対エントロピー（KL情報量）は、確率分布同士の距離を測る尺度として定義されていて、ある分布ｐの起こりやすさ（あいまいさ）を表すものと理解しています。 http://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%AB%E3%83%90%E3%83%83%E3%82%AF%E3%83%BB%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%BC%E6%83%85%E5%A0%B1%E9%87%8F 疑問として、ユークリッド距離と相対エントロピーはどちらの方が利点があるのでしょうか？起こりやすさを表すのであれば、相対エントロピーを考える方がよい気がしています。 たとえば、ある冬の平均気温を観測したら a＝5℃ b＝11℃ c＝6℃ ・・・ というデータが得られたとして、普通にユークリッド距離として（a－b）*（a－b）を考えると、ユークリッド距離の場合は観測データのみで良さを測るため、その場所の特長や暖冬の日などの状況に対処できていないと考えられます。 相対エントロピー（KL情報量）なら起こりやすさを表す確率を使えるので、そのような特長も加味できる？ので、相対エントロピーの方が良いのではないかと考えています。 実際はどうなんでしょうか？ 御存知の方、教えてください。 よろしくお願いします。

  • エントロピーの求め方

    専門でないので初心者です。 エントロピーの求め方についての質問です。 参考書には等温での圧力変化の際のエントロピーを求める式（ΔS=nRln*Pa/Pb）や、逆に等圧での温度変化の際のエントロピーを求める式（ΔS=Cpln*Tb/Ta）が載っていました。 では、圧力も温度も変化する際にはどのようにしてエントロピーを求めたら良いのでしょうか。モル熱容量は与えられています(5/2*R)。 詳しい方、よろしくお願いします。

  • エントロピー

    トランプのカードを集合S={A,2,3}T={4,5,6,7}U={8,9}V={10,J,Q,K}に分割したとき、引いたカードが集合 S,T,U,V に属する確率 Ps,Pt,Pu,Pv を求めて、確率分布(Ps,Pt,Pu,Pv)のエントロピーを求めよ。ただし、logの計算をする必要はない。 この問題で Ps=3/13,Pt=4/13,Pu=2/13,Pv4/13 と理解できるのですが、エントロピーの部分がよくわかりません。エントロピーの式と解説を教えてほしいです。よろしくお願いします。

  • ベクトル

    △ABCの内部の点Pが 2(→PA)＋3(→PB)＋4(→PC)=→0 の問題で 3(→PB)＋4(→PC)=ー2(→PA) PBとPCから 3＋4=7なので (3(→PB)＋4(→PC))/7=(ー2(→PA))/7 線分BCは4:3の比に内分するのでその点（境の点）をDとすると （→PD)=(-2/7)PA までは考えたのですが どうしてPA＝７、PD=2になるのが分かりません。 お願いします

  • 情報のエントロピーについての質問です。

    情報のエントロピーについての質問です。 無記憶情報源Ｓの通報およびその発生確率 通報　　発生確率 Ａ　　　0.3 Ｂ 0.2 Ｃ 0.04 Ｄ 0.16 Ｅ 0.3 （１）情報源ＳのエントロピーＨｓの求め方。 （２）情報源Ｓの２次元拡大情報Ｓ’のエントロピーＨｓ’の求め方。 以上の２つの考え方をお願いします。 もし参考になりそうなページをご存じであればアドレスをお願いいします。

  • A(1/2,1/2) B(-1/2,1/2) C-(1/2,-1/2)

    A(1/2,1/2) B(-1/2,1/2) C-(1/2,-1/2) D(1/2,-1/2)で、点Pが MIN(PA,PB,PC,PD）≦１≦MAX(PA,PB,PC,PD）をみたす点Pの存在範囲を示し、 その面積を求めよという問題がさっぱりです。助けてください。 A(1/2,1/2) B(-1/2,1/2) C-(1/2,-1/2) D(1/2,-1/2)で、点Pが MIN(PA,PB,PC,PD）≦１≦MAX(PA,PB,PC,PD）をみたす点Pの存在範囲を示し、 その面積を求めよという問題がさっぱりです。助けてください

  • 比

    平面上に△ABCと点Pがあって、l(→PA)＋m(→PB)＋n(→PC)=(→0) (l,m,nは正の定数）が成り立っている 面積比△PBC:△PCA:△PABを求める問題です。 -(→PA)=m(→PB)＋n(→PC) (→PA)=m(→PB)＋n(→PC) =(m＋n)*(m(PB)＋n（PC))/m＋n) ここで、(m(PB)＋n（PC))/m＋n)=PDとすると PDとなる点Dをとれば、Dは線分BCをn:mに内分する点。 l(PA)＝m＋n(PD) から、３点A,P,Dは同一直線上で 比にすると AP:PD=(m＋n):l ここまでしか分かりません。

  • 方冪の定理(数Ａ)

    いつもお世話になってます。 図をご覧下さい。この図について、「円Oの半径をrとするとき、PA・PB=r^2-PO^2である事を示せ」という問題です。一応自分なりにやってみました。どうも横道に逸れやすい性格なのか、余計な筋道があるかも知れません。ご指摘下さい。 (1)まず、PB:PD=DC:PAを示す。仮に、CとBを結ぶ線分、AとDを結ぶ線分を引くと、円周角の定理より、∠BCD=∠BADが言える。また、対頂角の性質より、∠CPB=∠APDが言える。以上より、△PCB=△PADが言えるから、PB:PD=DC:PAが成り立つ。 (2)方冪の定理より、PB・PA=PD・CPが言える。 (3)(2)の等式を変形していくと、 PA・PB=PD・CP =(r-OP)(r+OP) =r^2-OP^2 以上 アドバイスお願いします

  • 結合確率モデル

    事象 A={サイコロの出た目が奇数である} 事象 a={Aではない} 事象 B={サイコロの出た目が２以上である} 事象 b={Bではない} を考える。 このとき、 X= (A a ) (PA Pa) Y= (B b ) (PB Pb) のそれぞれのエントロピーH(X),H(Y)を求めるとともに、結合確率モデル Z= (A∧B A∧b a∧B a∧b) ( P1 P2 P3 P4 ) におけるエントロピーH(Z)を求めて、H(X)とH(Y)との大小関係を明らかにせよ。 こんな問題がありました。 H(X)=(1/2 log2 2)+(1/2 log2 2) H(Y)=(5/6 log2 6/5)+(1/6 log2 6) H(Z)=(2/6 log2 6/2)+(1/6 log2 6)+(3/6 log2 6/3) 正しいかどうか不安ですけど、何とかここまではできたような感じはします。この後大小関係を明らかにするには何をどうすればいいのかくわしく教えてください。最後の結果も教えていただくとより助かります。

注目のQ&A

カテゴリ

専門家に質問してみよう

職業から探して質問する

あなたにピッタリな商品が見つかる！ OKWAVEセレクト

質問する