• 締切済み

Kullback-Leibler 情報量のパラメータ変換不変性

確率p(x)とq(x)とのあいだのKullback-Leibler情報量がxに対して不変だという証明はどうするのでしょうか？

回答 全件
p(x)とq(x)とのKullback-Leibler Diverge…

みんなの回答

  • ltx78
  • ベストアンサー率45% (10/22)
回答No.1

p(x)とq(x)とのKullback-Leibler Divergenceとは， KLD = ∫p(x) log (p(x) / q(x)) dx ですよね？ このKLDにはもはやxは現れないため， 不変云々の議論はそもそも意味がない気がするのですが． 問題の説明が不十分な気がします．

shirox
質問者

お礼

証明できました どうもありがとうございました

shirox
質問者

補足

すみません、そんな気もしてきました。 もとの疑問は、例えばx→f(x)となった場合、dxもdf(x)となり、積分区間も変わってくる可能性があります。そうなってもxが束縛変数だからといって不変だと言い切れるのかが分かりませんでした。

全文を見る
すると、全ての回答が全文表示されます。
  1. カテゴリ
  2. 学問・教育
  3. 数学・算数

関連するQ&A

  • 確率変数変換時の相互情報量について

    標題に関し教えて頂ければ幸いです． x, yを確率変数とするとき，同時確率分布P(x,y)および周辺確率分布P(x)，P(y)から x, yに関する相互情報量I(x,y)は下記の様に得られると思います． ∫∫P(x,y)*log(P(x,y)/P(x)/P(y)) dxdy このとき，x, yをr2, θへ変数変換した時の相互情報量I(r2,θ)はどのように求めれば 良いのでしょうか． （r2 = x^2+ y^2, θ = tan^-1(y/x)とします） 宜しくお願い致します

  • トーラス上のエータ不変量

    先ほどの質問で誤りがありましたので訂正させて頂きます。トーラスS1上で 　D = -i d/dt + a 　( 0 < a ≦ 2π) の固有関数 exp(2πint) と固有値2πn+a に対して 　 η(s) = Σsgn(2πn+a)/|2πn+a|^s　 (1) という無限和を考えます(n∈Z)。このとき 　 η(0)/2 = a/2π はエータ不変量と呼ばれ、Dのスペクトル不変量になるとされます。しかし(1)で s=0 とおけば 　 η(0) = 1 - 1 + 1 - 1 + … という収束しない級数になるのではないでしょうか。チェザロ総和をとっても1/2になり、a/πにはなりません。どうしてこれが a/πになるのでしょうか。また中原幹夫「理論物理学のための幾何学とトポロジーII」p.138ではディラック作用素のエータ不変量が 　 　 η(s) = Σsgn(λk)/|λk|^2s　 (2) で定義されていますが、なぜ(1)と(2)は違うのでしょうか。

  • ローレンツ変換

    ある四元運動量を(p0,pi)（空間添え字にアルファベットを使ってます）として、別の四元運動量を(q0,qi)とします。 このとき 　p0×δ(3)(pi－qi) はローレンツ不変になるらしいのですが、証明の方針すら立ちません。どういう風に計算を進めればいいのでしょうか？ どうぞよろしくお願いします。

  • 相互情報量について

    1,2,3,4が等確率で現れる確率変数をA， それが偶数か奇数である確率変数をBとします． 相互情報量I(A|B)を求めましょう． という問題です． これを求めていく際に必要となるP(A∧B)が分かりません． それ以前に，相互情報量が何なのかもよく分かっていないと思います． どうかご教授お願いいたします．

  • 曲率のパラメータ変換について

    曲率が、パラメータ変換において不変であることは、どのようにすれば証明できるか、教えてください。

  • 平均情報量を求める問題ですが。。。。

    大学で情報処理の授業を取っているのですが、数学苦手なので全く解き方が分かりません。ご存知の方ぜひ助けていただきたいです。 ありがとうございます 問題です： a:8.1% b:2.3% c:4.6% d:3.5% e:12.6% f:2.6% g:2.0% h:4.4% i:7.9% j:0.5% k:0.5% i:4.0% m:3.2% n:6.1% o:7.2% p:2.4% q:0.7% r:5.7% s:6.0% t:8.5% u:2.9% v:1.2% w:1.0% x:0.9% y:1.0% z:0.2% アルファベットの出現の確率の平均情報量を求めよ

  • エントロピー（情報量）の性質

    情報理論の参考書で下のような、エントロピーに関する問題がありました。 3つの確率変数X,Y,Zについて次の(a)～(d)を証明せよ。また、その意味を解釈せよ。 (a) H(X,Y,Z)≦H(X)＋H(Y)＋H(Z) (b) H(X,Y,Z)＝H(X|Y,Z)＋H(Y|Z)＋H(Z) (c) H(X,Y|Z)≦H(X|Z)＋H(Y|Z) (d) H(X|Y,Z)≦H(X|Z)≦H(X) 証明はできたんですが、意味を解釈するというのがうまく説明できません。 一応自分なりに考えてみたんですが、どうも自信がありません。 どなたか、チェックしてくれれば嬉しいんですが・・・ よろしくお願いします。 (a)X,Y,Zの値を同時に知ったときに得られる情報量より、X,Y,Zの値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (b)Z→Y→Xという順で値を知ったとすれば、Z,Y,Xのそれぞれの値を知った時点で得られるそれぞれの情報量の和は、X,Y,Zの値を同時に知ったときに得られる情報量に等しい。 (c)Zの値が既知であっても、(a)と同様に値を同時に知ったときに得られる情報量より、値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (d)YとZの値が既知のときより、Zの値だけが既知のときの方が、そしてZの値だけが既知のときより、既知の値がないときの方が、Xの値を知って得られる情報量は大きい。すなわち、得ている情報が少ないほど、情報により得られる情報量が大きくなる。

  • ２元消失通信路(BEC)の伝送情報量

    記号0の生起確率を p 、判定不能率を u とした時の２元消失通信路の伝送情報量が I (A;B) = (1-u)H(p) で表されることを証明してください。お願いします。

  • 情報量の基本概念

    情報量に対しての基本的な考えについて聞きたいのですが対数と確率を使って情報量を定義するのはなぜかが知りたいです。特に確率をなぜ使うのかがよくつかめないです。

  • 確率変数（たぶん初歩的な問題です）

    【問題】 離散型確率変数X,Yの分布がP(X=xi)=pi,P(Y=yi)=qi　(i=1,2)であるとき,E(X+Y)=E(X)+E(Y)を示しなさい. 【自分なりの答え】 E(X+Y)=(x1+y1)p1q1+(x1+y2)p1q2+(x2+y1)p2q1+(x2+y2)p2q2 　　　　=x1p1(q1+q2)+x2p2(q1+q2)+y1q1(p1+p2)+y2q2(p1+p2) 　　　　=x1p1+x2p2+y1q1+y2q2 　　　　=Σ(i=1～2)xipi+Σ(i=1～2)yiqi 　　　　=E(X)+E(Y) と自分なりに考えて証明してみたのですが,これではXとYが独立な確率変数の場合の証明となってしまいます. XとYが独立な確率変数ではなくてもE(X+Y)=E(X)+E(Y)が成立するはずなのですが、どう証明すればよいのでしょうか？ アドバイスをいただけないでしょうか？お願いします。

注目のQ&A

カテゴリ

専門家に質問してみよう

職業から探して質問する

あなたにピッタリな商品が見つかる！ OKWAVEセレクト

質問する