締切済み

統計学　条件付きエントロピーの問題

2013/07/22 00:30

(1) H(X , X) = ? (2) H(X｜X) = ? (3) I(X ; X) = ? 情報源 X {a₁, a₂, ..., am} 　　 pi = P(X=ai) 情報源 Y {b₁, b₂, ..., bn} 　　 qi = P(Y=bｊ)　　　　　rij = P(X=ai , Y=bｊ)　とする　 XとYの同時エントロピー　H(X , Y) = -Σrij log₂rij　　pi = nΣ(j=1)rij　　pj = mΣ(i=1)rij …… というように定義していくと、問題はどのように解かれますか。

rafelt
お礼率94% (47/50)

数学・算数
回答数1
ありがとう数1

みんなの回答 （1）
専門家の回答

みんなの回答

Tacosan
ベストアンサー率23% (3656/15482)

2013/07/22 02:56 回答No.1

Y がかわいそうだ.

質問者

お礼 2013/07/22 15:34

そうですね

関連するQ&A

シャノンの結合エントロピーについて

タイトルどおりシャノンの結合エントロピーについてなんですが結合事象系Ａ，Ｂが存在する場合、 Pi = p(Ai ∩ Bj) H(AB) = -∑∑Pij log Pij 　　　　= -∑∑p(Ai ∩ Bj) logp (Ai ∩ Bj) 　　　　= -∑∑p(Ai)p(Bj | Ai) log p(Ai)p(Bj | Ai) . . . H(AB)= H(A) + H(B | A) という式になるのはわかるのですが、結合事象系Ａ、Ｂ、Ｃと３つ存在する場合の式の展開がわかりません。参考書によると上記の式を基に H(ABC) = -∑∑∑Pijk log Pijk で求めることができると書いてありましたが、上記の式のような展開の仕方が私ではできません。特に、条件付確率部分の展開がわかりません。ネットでいろいろ調べましたが、どこも結合事象系が2つの場合の結合エントロピーの解法しか見つかりませんでした。どなたかご教授お願いします。
統計学

どうしても分からないので教えて欲しいと思います。問題は、「離散型確率変数X,Yの分布はP(X=xi)=pi(i=1,2) 　 P(Y=yi)=qi(i=1,2)である。（１）P(X=xi,Y=yj)=rij(i,j=1,2)とするとき、 ri1+ri2=pi(i=1,2) r1j+r2j=qj (j=1,2) が成立することを示せ。」です。再提出となった自分のレポートは、　まず、x1とx2の確率(p1, p2とする)の合計が１になる表と、同様にy1とy2の確率（q1,q2とする）の合計が１となる表をかきました。　次に、iとjの組み合わせについて、（xi, yi）とrijとの対応する表をかき、 r11+r12=p1 （(1)とする） r21+r22=p2　（(2)とする） r11+r21=q1　（(3)とする） r12+r22=q2　（(4)とする）を導き、 (1)、(2)より、ri1+ri2=pi (i=1,2) (3)、(4)より、r1j+r2j=qj (j=1,2) したがって、ri1+ri2=pi (i=1,2) r1j+r2j=qj (j=1,2) が示せた。と書いて出した所、「文中の表は(ⅰ)P(X=xi,Y=y1)+P(X=xi,Y=y2)=pi(i=1,2) (ⅱ)P(X=x1,Y=yj)+P(X=x2,Y=yj)=qj (j=1,2) が成立することを前提にして作った表です。(ⅰ)、(ⅱ)の等式の成立を証明して下さい。」　　　と書かれて再提出でした。(ⅰ)、(ⅱ)の等式の成立の証明なんですが、いくら考えても出来ません。どなたかアドバイスお願いします。
交差弾力性間の関係（クールノーの合計条件）について。　

大筒です。専門外なんですけど、興味があって、経済（ミクロ）を勉強しているのですが、最初の方でつまずいてしまいました。質問は、交差弾力性間の関係のところで、２つの財（Pi,Qi）（Pj,Qj）があり、予算制約式ｙ＝ΣPi*Qi（Σはiについてです）の両辺をPjで偏微分すると、０＝ΣPi*∂Qi/∂Pj + Qj と教科書にあります。最後のQjはどこからでてくるのでしょうか？予算制約式をｙ＝ΣPi*Qi + Pj*Qj とすると、０＝ΣPi*∂Qi/∂Pj + Qj + Pj*∂Qj/∂Pj と、Qjはでてきますが、 Pj*∂Qj/∂Pj　が余分にでてきてしまいます。 ∂Qj/∂Pjは０ではないと思うのですが、もしかして、私の微分自体がまちがっているのでしょうか？
確率変数について

【問題】離散型確率変数X,Yの分布がP(X = xi) = pi, P(Y = yi) = qi (i = 1,2)であるとき, E(X + Y) = E(X) + E(Y)を示せ. 【自分なりの解答】 P(X = xi and Y = yj) = rijとする. ゆえにpi = ri1 + ri2 かつ, qi = r1i + r2iである. E(X + Y) = (x1 + y1)r11 + (x1 + y2)r12 = (x2 + y1)r21 + (x2 + y2)r22 = x1(r11 + r12) + x2(r21 + r22) = y1(r11 + r21) + y2(r12 + r22) = x1p1 + x2p2 + y1q1 + y2q2 = (x1p1 + x2p2) + (y1q1 + y2q2) = E(X) + E(Y) 【質問】この解答は P(X = xi and Y = yj) = rijと仮定した時に, pi = ri1 + ri2かつ, qi = r1i + r2iであることを大前提にして問題を解いています.でもこの大前提がなぜ成立するのかが,上手に表現(証明)できません.何かアドバイスをいただけないでしょうか？よろしくお願いします.
エントロピー

ｙ＝０であるときのｘのエントロピーH(x|y=0)は-P(x=0|y=0)logP(x=0|y=0)-P(x=1|y=0)logP(x=1|y=0)となるのはわかるのですが、ｙで条件を付けたｘの条件付きエントロピーＨ（ｘ｜ｙ）は｛-P(x=0|y=0)logP(x=0|y=0)-P(x=1|y=0)logP(x=1|y=0)｝×P(y=0)＋｛-P(x=0|y=1)logP(x=0|y=1)-P(x=1|y=1)logP(x=1|y=1)｝×P(y=1)のように各々の項になんでそれぞれP(y=0)とP(y=1)をかけているのでしょうか？
条件付きエントロピー

確率変数X,Yが与えられたときの条件付きエントロピーの計算方法がまったくわからないため、質問をさせていただきます。サイコロの出目を確率変数Xとし、Y=X^2 mod 3 としたときの条件付きエントロピーH(X|Y)はどのようにして求めればよいのでしょうか？参考となるウェブサイト等のURLでも構いません。よろしくお願いします。
確率変数　確率統計

確率・統計の証明問題です。離散型確率変数X,Yの分布は P(X=xi)=pi(i=1,2),P(Y=yj)=qj(j=1,2)である。 P(X=xi,Y=yj)=rij(i,j=1,2)とするとき ri1+ri2=pi,r1j+r2j=qj(i,j=1,2)が成立する事を確率の公理を用いて示せ。 ★(X=x1)∪(X=x2)＝(Y=y1)∪(Y=y2)＝Ω 　(X=x1)∩(X=x2)＝(Y=y1)∩(Y=y2)＝φ 　(X=xi)＝(X=xi)∩Ω,(Y=yj)＝(Y=yj)∩Ω等を用いよ。ポイント　P((X=xi)∩(X=y2))+P((X=xi)∩(X=y2))の式を導き、A=(X=xi)∩(X=y2)、B=(X=xi)∩(X=y2)とし、 A∩B＝...＝φであるから、確率の公理P(A)+P(B)=P(A∪B)を使用する証明が必要とのアドバイスを以前いただきました。
統計学（離散型確率変数）の問題文の意味

独学で数学を勉強しています。問題が解けないというより、問題の意味が読み取れなくて困っています。問題の意味を解説していただけないでしょうか。離散型確率変数X,Yの分布はP(X=xi)=pi(i=1,2), P(Y=yj)=qj(j=1,2)である。 ※ここまでは理解できてます。 P(X=xi,Y=yj)=rij(i,j=1,2)とするとき、 ri1+ri2=pi, r1j+r2j=qj(i,j=1,2)が成立することを示せ。 ※バカな質問かもしれませんが、このときの"r"って相関係数のrとは違いますよね？このri1,ri2,r1j,r2jというのが何を表しているのか理解できません。どなたか、解説していただけないでしょうか。よろしくお願いします。
エントロピーを求める問題です。

エントロピーを求める問題です。 A、Bからなる情報源があり、2つの文字の結合確率は次のとおりである。 P（A,A）＝0.7、P（A,B）＝0.1、P（B,A）＝0.1、P（B,B）＝0.1 この情報源を単純マルコフ情報源とするとき、この情報源のエントロピーを求めよ。答えは、0.63なのですが、どうしても導出できません。もし。解かる方がいたら教えてください。
統計学でこまってます。

レポートが不合格で返ってきました。どうしてもわかりません。おしえてください。　　　離散型確率変数Ｘ、Ｙの分布は　　Ｐ（Ｘ＝xi)=pi,P(Y=yi)=qi (i=1,2)です。（１）Ｅ（Ｘ＋Ｙ）＝Ｅ（Ｘ）＋Ｅ（Ｙ）（２）ＸとＹが独立な確率変数であるとき　　Ｖ（Ｘ＋Ｙ）＝Ｖ（Ｘ）＋Ｖ（Ｙ）　批評は（１）Pi=ri1+ri2,qj=v1j+v2jを証明してください。　　　　（２）Ｘ、Ｙが独立のとき　　　　　　　Ｅ（ＸＹ）＝Ｅ（Ｘ）Ｅ（Ｙ）を証明する。確率変数Ｘが二項分布Ｂ（９、１/2)に従う時、Xの分布の値Ｐ（Ｘ＝k)=(0～９）のひとつひとつを正規分布で近似し相対誤差を計算する。ここで相対誤差｜ｄ/P(X=k)|*100%, d:誤差です。数値は小数点以下第6位を四捨五入して第5位まで。批評はＰ（Ｘ＝Ｋ）[K=0～９]のひとつひとつを正規近似する。　　　9Ｃ0=(1/2)^0=1です。上記3問よろしくお願いします。
エントロピーの計算

問題が解けないので投稿しました。一般的にN個の事象の確率分布を{p1,p2,…,pn}とするとき、その情報エントロピーはS=-∑_(i=1)^N pilog(pi)で与えられる。このとき、情報エントロピーSを最大にする確率分布をとのときのSを求めよ。まったくわからないので途中式もできればお願いします。 ∑の部分が見づらいのですがすみません。よろしくお願いします。
エントロピーを求める問題

事象系A=｛a1,a2}および事象系B={b1,b2}において、結合確率P(a1,b1)=0.1,P(a1,b2)=0.2,P(a2,b1)=0.3,P(a2,b2)=0.4が与えられているとき事象系AとBのエントロピーH(A),H(B)を求めなさい。この問題の解き方がわかる方教えてください。
統計学の推定問題です！教えでください、

統計学の推定問題です！教えでください、よろしくお願いします！！母集団の分布は次のように P（Xi）=pi (i=1,2,3) ただし、pi>0,p1+p2+p3=1. この分布から大きさｎの無作為標本をとるとします。（１） p1=1/3です。しかし、p2とp3がわかりません。（a) p2とp3の推定方法を説明し、（ｂ）その方法を推奨する理由の述べなさい。（２）ｐi(i=1,2,3) はわかりませんが, 「何らかの問題があり、ｘ１とｘ２を区別することができず、すべてｘ２と表示される」という子が、わかっているとします。この時、（a) ｘ３の生じる確率の推定方法を説明し、（ｂ）その方法を推奨する理由を述べなさいよろしくお願いします！！
確立変数

統計学の分野での疑問です。問：離散型確率変数X,Yの分布をP(X=xi) = pi (i=1,2) , P(Y=yj) = qj (j=1,2)とする。 P(X=xi,Y=yj) = rij (i,j=1,2)とすると　ri1 + ri2 = pi (i=1,2) 　r1j + r2j = qj (j=1,2) が成立することを確立の公理「A∩B=φならばP(A∪B)=P(A)+P(B)」を用いて示せ。 i=1として考えてみて q1∩q2 = φ なので r11∩r12 = φ　となり r11∪r12 = r11 + r12　にはなるのですが r11 + r12 = p1　にはたどり着けません。根本的なところから勘違いしている気がするのですがどのように考えていけば確率の公理を使って説明することができるのでしょうか。
結合確率、周辺確率の問題なのですが…

2つのサイコロを振った時、大きい方の目をX、小さい方の目をYとする。 XとYの結合確率関数、周辺確率関数を求めよ。という問題です。答えは pi;j = P(X = i; Y = j) (i j) とする．1 ≦ j < i≦ 6（全15 通り）に対してpi;j = 1/18 1 ≦j = i ≦6に対してpi;i = 1/36 P(X = i) = (2i-1)/36 (i = 1; 2; : : : ; 6), P(Y = j) = (13-2i)/36 となっているのですが、まずpi;j = 1/18という最初からよくわかりません。全体の解説よろしくお願いします。
XとYの同時エントロピーH(X,Y)を求める問題

写真の問題のXとYの同時エントロピーH(X,Y)を求めて欲しいです
確率変数（たぶん初歩的な問題です）

【問題】離散型確率変数X,Yの分布がP(X=xi)=pi,P(Y=yi)=qi　(i=1,2)であるとき,E(X+Y)=E(X)+E(Y)を示しなさい. 【自分なりの答え】 E(X+Y)=(x1+y1)p1q1+(x1+y2)p1q2+(x2+y1)p2q1+(x2+y2)p2q2 　　　　=x1p1(q1+q2)+x2p2(q1+q2)+y1q1(p1+p2)+y2q2(p1+p2) 　　　　=x1p1+x2p2+y1q1+y2q2 　　　　=Σ(i=1～2)xipi+Σ(i=1～2)yiqi 　　　　=E(X)+E(Y) と自分なりに考えて証明してみたのですが,これではXとYが独立な確率変数の場合の証明となってしまいます. XとYが独立な確率変数ではなくてもE(X+Y)=E(X)+E(Y)が成立するはずなのですが、どう証明すればよいのでしょうか？アドバイスをいただけないでしょうか？お願いします。
エントロピー（情報量）の性質

情報理論の参考書で下のような、エントロピーに関する問題がありました。 3つの確率変数X,Y,Zについて次の(a)～(d)を証明せよ。また、その意味を解釈せよ。 (a) H(X,Y,Z)≦H(X)＋H(Y)＋H(Z) (b) H(X,Y,Z)＝H(X|Y,Z)＋H(Y|Z)＋H(Z) (c) H(X,Y|Z)≦H(X|Z)＋H(Y|Z) (d) H(X|Y,Z)≦H(X|Z)≦H(X) 証明はできたんですが、意味を解釈するというのがうまく説明できません。一応自分なりに考えてみたんですが、どうも自信がありません。どなたか、チェックしてくれれば嬉しいんですが・・・よろしくお願いします。 (a)X,Y,Zの値を同時に知ったときに得られる情報量より、X,Y,Zの値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (b)Z→Y→Xという順で値を知ったとすれば、Z,Y,Xのそれぞれの値を知った時点で得られるそれぞれの情報量の和は、X,Y,Zの値を同時に知ったときに得られる情報量に等しい。 (c)Zの値が既知であっても、(a)と同様に値を同時に知ったときに得られる情報量より、値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (d)YとZの値が既知のときより、Zの値だけが既知のときの方が、そしてZの値だけが既知のときより、既知の値がないときの方が、Xの値を知って得られる情報量は大きい。すなわち、得ている情報が少ないほど、情報により得られる情報量が大きくなる。
集合に関する証明です。

集合の問題で証明の仕方が分からないので質問させてください。 X,Yは集合,fは関数で　f:X→Y,　I,Jは添字集合 Ai,i∈IはすべてXの部分集合 Bj,j∈JはすべてYの部分集合 (1)f[∪Ai]=∪f[Ai] (2)f^(-1)[∪Bj]=∪f^(-1)[Bj] (3)f[∩Ai]⊂∩f[Ai] (4)f^(-1)[∩Bj]=∩f^(-1)[Bj) この(1)～(4)の証明です。宜しくお願いします。
偏相関から偏回帰係数を導出する

Yを応答とし，X1,X2,...,Xpを説明変数とします。それぞれの変数の平均と分散をそれぞれmy,m1,m2,...,mp; vy,v1,v2,...,vpとします。説明変数間の相関をrij(i,j=1,...,p)とします。また，YとXi(i=1,...,p)の偏相関をqi(i=1,...,p)とします。上記の条件の下，応答と説明変数が下記の構造で表せるとします： Y=b1 X1+b2 X2+,...,bp Xp+e ここに，e~N(0,sigma^2)であるとします。このとき，偏回帰係数bi(i=1,...,p)を他のパラメータで表現できますでしょうか。あるいは，この議論が載っている参考文献をご存知でしたらご教示ください。よろしくお願いいたします。

統計学　条件付きエントロピーの問題

みんなの回答

お礼 2013/07/22 15:34

関連するQ&A

シャノンの結合エントロピーについて

統計学

交差弾力性間の関係（クールノーの合計条件）について。

確率変数について

エントロピー

条件付きエントロピー

確率変数　確率統計

統計学（離散型確率変数）の問題文の意味

エントロピーを求める問題です。

統計学でこまってます。

エントロピーの計算

エントロピーを求める問題

統計学の推定問題です！教えでください、

確立変数

結合確率、周辺確率の問題なのですが…

XとYの同時エントロピーH(X,Y)を求める問題

確率変数（たぶん初歩的な問題です）

エントロピー（情報量）の性質

集合に関する証明です。

偏相関から偏回帰係数を導出する

注目のQ&A

カテゴリ
一覧

専門家に質問してみよう
専門家登録

あなたにピッタリな商品が見つかる！ OKWAVE セレクト

統計学 条件付きエントロピーの問題

みんなの回答

お礼 2013/07/22 15:34

関連するQ&A

シャノンの結合エントロピーについて

統計学

交差弾力性間の関係（クールノーの合計条件）について。

確率変数について

エントロピー

条件付きエントロピー

確率変数 確率統計

統計学（離散型確率変数）の問題文の意味

エントロピーを求める問題です。

統計学でこまってます。

エントロピーの計算

エントロピーを求める問題

統計学の推定問題です！教えでください、

確立変数

結合確率、周辺確率の問題なのですが…

XとYの同時エントロピーH(X,Y)を求める問題

確率変数（たぶん初歩的な問題です）

エントロピー（情報量）の性質

集合に関する証明です。

偏相関から偏回帰係数を導出する

注目のQ&A

カテゴリ 一覧

専門家に質問してみよう 専門家登録

あなたにピッタリな商品が見つかる！ OKWAVE セレクト

統計学　条件付きエントロピーの問題

交差弾力性間の関係（クールノーの合計条件）について。　

確率変数　確率統計

カテゴリ
一覧

専門家に質問してみよう
専門家登録