- 締切済み
エントロピーとユークリッド距離の違い
相対エントロピー（KL情報量）は、確率分布同士の距離を測る尺度として定義されていて、ある分布ｐの起こりやすさ（あいまいさ）を表すものと理解しています。 http://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%AB%E3%83%90%E3%83%83%E3%82%AF%E3%83%BB%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%BC%E6%83%85%E5%A0%B1%E9%87%8F 疑問として、ユークリッド距離と相対エントロピーはどちらの方が利点があるのでしょうか？起こりやすさを表すのであれば、相対エントロピーを考える方がよい気がしています。 たとえば、ある冬の平均気温を観測したら a＝5℃ b＝11℃ c＝6℃ ・・・ というデータが得られたとして、普通にユークリッド距離として（a－b）*（a－b）を考えると、ユークリッド距離の場合は観測データのみで良さを測るため、その場所の特長や暖冬の日などの状況に対処できていないと考えられます。 相対エントロピー（KL情報量）なら起こりやすさを表す確率を使えるので、そのような特長も加味できる？ので、相対エントロピーの方が良いのではないかと考えています。 実際はどうなんでしょうか？ 御存知の方、教えてください。 よろしくお願いします。
- marucha
- お礼率38% (127/329)
- 数学・算数
- 回答数2
- ありがとう数2
- みんなの回答 （2）
- 専門家の回答
みんなの回答
- stomachman
- ベストアンサー率57% (1014/1775)
ANo.1のコメントについてです。 尺度は具体的な課題に合わせて、旨く特徴を掴みしかも扱いやすいようなものをデザインするのが本来の姿であって、そのバランスの取り方は価値観の問題です。これは工学であり、デキアイのものが気に入らないのなら気に入るのを作れば良いんです。 > 具体例を 関数f, gが他の関数との和や差として扱われる場合。例えば、関数を基底系でスペクトル分解をしたときに、級数のどこから先を打ち切るかを考えるときなど。二乗ノルムは微分できて比較的簡単な形になるので、たとえばfをよく近似するようにgのパラメータを調節する、などの極値問題を扱いやすいという利点があります。 > あまり差が見られない気がします。 加法性の有無が一番重要な違いでしょうけれども、そんなことは重視しない価値観に基づいて評価なさっているのでしょう。ならば「あまり差がない」という結論で結構かと思います。
- stomachman
- ベストアンサー率57% (1014/1775)
分布（つまりは関数）を要素(いわば「点」）とする空間（関数空間）では、二つの関数（点）の間の「近さ」ってものを定義してやらないと、隔たりを測りようがありません。比較をする目的に応じて尺度を作ってやる訳で、KL情報量もそのひとつということです。 ご質問にある数値例は、「二つの分布（確率密度関数）の間のユークリッド距離の例」としては不適切でしょう。分布f, gの間のユークリッド距離D(f,g)の２乗（普通は「二乗ノルム」と言いますが）すなわち (D(f,g)^2) = ∫ ((f(t)-g(t))^2) dt (∫はf,gの定義域に関する定積分） が役に立つのは、「tが幾らであろうと、また、f(t), g(t)が幾らであろうと、両者の差の絶対値が同じであればf, gの隔たりは同程度」と考えることが適切であるような場合です。 一方、f,gが確率密度関数である場合、例えば変量tが[T, T+1]の区間に落ちる確率が f(T)= 1% g(T)= 2% と予想され、変量tが[U, U+1]の区間に落ちる確率が f(U) = 50% g(U) = 51% と予想されたとします。すると、t=Tにおけるfとgの隔たりと、t=Uにおけるfとgの隔たりは、予想の差だけ見れば一緒ということになる。だけど、情報量の観点からは「f(U)とg(U)は似たようなもんだけど、f(T)はg(T)の２倍にもなる」ということに着目して比較する方が適切。 情報量に関して、こちらもご参考に → http://oshiete1.goo.ne.jp/qa4870476.html
関連するQ&A
- エントロピーの計算について
問題が解けないので投稿しました。 サイコロゲームのD,A,B,C,E 5人のそれぞれの目の出る確率分布が、Pd＝（1/6 ,1/6 ,1/6 ,1/6 ,1/6） Pa＝（1/3 , 0, 0, 1/3, 1/3, 0) Pb＝（1/2, 0, 0, 0, 1/2, 0） Pc＝（0, 0, 1, 0, 0, 0） Pe＝(1/4, 0, 0, 1/4, 1/4, 1/4)とするとき、(i)それぞれの情報エントロピーを求めよ。(ii)また、Dに対するほかの4人の相対エントロピーを求めよ。 全くわからないので途中式とか書いていただくと助かります。 よろしくお願いします。
- 締切済み
- 数学・算数
- エントロピーを求める問題です。
エントロピーを求める問題です。 A、Bからなる情報源があり、2つの文字の結合確率は次のとおりである。 P（A,A）＝0.7、P（A,B）＝0.1、P（B,A）＝0.1、P（B,B）＝0.1 この情報源を単純マルコフ情報源とするとき、この情報源のエントロピーを求めよ。 答えは、0.63なのですが、どうしても導出できません。もし。解かる方がいたら教えてください。
- 締切済み
- 数学・算数
- 情報のエントロピーについての質問です。
情報のエントロピーについての質問です。 無記憶情報源Ｓの通報およびその発生確率 通報 発生確率 Ａ 0.3 Ｂ 0.2 Ｃ 0.04 Ｄ 0.16 Ｅ 0.3 （１）情報源ＳのエントロピーＨｓの求め方。 （２）情報源Ｓの２次元拡大情報Ｓ’のエントロピーＨｓ’の求め方。 以上の２つの考え方をお願いします。 もし参考になりそうなページをご存じであればアドレスをお願いいします。
- ベストアンサー
- その他([技術者向] コンピューター)
- エントロピーを求める問題
事象系A=｛a1,a2}および事象系B={b1,b2}において、結合確率P(a1,b1)=0.1,P(a1,b2)=0.2,P(a2,b1)=0.3,P(a2,b2)=0.4が与えられているとき事象系AとBのエントロピーH(A),H(B)を求めなさい。 この問題の解き方がわかる方教えてください。
- ベストアンサー
- 数学・算数
- 活性化エントロピーの意味が知りたい
Wikipediaで「反応速度論」： http://ja.wikipedia.org/wiki/%E5%8F%8D%E5%BF%9C%E9%80%9F%E5%BA%A6%E8%AB%96 を調べると，絶対反応速度論 において，活性化自由エネルギー，活性化エンタルピー，活性化エントロピーが出てきます。 活性化エンタルピーは，「アレニウスの式」： http://ja.wikipedia.org/wiki/%E3%82%A2%E3%83%AC%E3%83%8B%E3%82%A6%E3%82%B9%E3%81%AE%E5%BC%8F において，反応を次の段階へ進めるために乗り越えるべき障壁としての活性化エネルギーEaにほぼ相当するものとして一応理解しましたが（誤っていればご訂正ください），活性化エントロピーはどのように理解するべきかよくわかりません。 また，例えば，プラスチックに応力を加えた状態は，加える前の状態と比べて，熱力学的にどのような違いが出てくるのでしょうか。ご教示ください。
- 締切済み
- 化学
- 情報理論：エントロピーの問題について。
【通報xが指数分布 p = (1/a)e^(-x/a) x≦0 = 0 x＞0 にしたがう。エントロピーを求めよ。 】 という問題があるのですが、この解きかたがわかりません。 普通に、 -∫[∞,0]plogp dx とおいて、解こうとしたのですが、値が∞になったりして、答えが出ません…。 よろしくお願いします。
- ベストアンサー
- 数学・算数
- ユークリッドの互除法について
ユークリッドの互除法を用いて a*e+b*Phi=1 となるようなa,bを求めるプログラムを作りたいのですが 以下のようにしても正しい値になりません どこが間違っているのでしょうか？ e=53499289; Phi=96298720; d=0; d_old=1; Psi=1; Psi_old=0; for (;Phi!=0;){ a= e/Phi; h=e; e=Phi; Phi= h%Phi; h=d_old; d_old=d; d=h-d*a; h=Psi_old; Psi_old=Psi; Psi=h-Psi*b; } if (e<0){ b=-e; }else{ b=e; } printf ("(%d)*e+(%d)*Phi_n=%d\n", d_old,Psi_old,b); 正しくは 9*e+(-5)*Phi=1 となるはずです
- ベストアンサー
- C・C++・C#
- 情報源のエントロピーの計算
以下の問題について教えてください ４つのアルファベット（a,b,c,d)からなる情報源があり、それぞれの情報の発生確率は P(a)=1/8, P(b)=1/4, P(c)=1/8, P(d)=1/2である。この情報源のエントロピーを求めよ。
- ベストアンサー
- 物理学
補足
＞「tが幾らであろうと、また、f(t), g(t)が幾らであろうと、両者の差の絶対値が同じであればf, gの隔たりは同程度」と考えることが適切であるような場合です。 式から考えてこのようにいえることは分かりますが、具体的にどのような場合か分かりません。何か具体例を頂けないでしょうか？ ＞情報量に関して 参考先URLにおいて、エントロピーとL2ノルムにどれだけ差ができるかみたい。 No.5の家が壊れる確率は、50%だからL2ノルムの場合でも同じになると思います。 No.1の家、No.10の家については ・エントロピーの場合、 -log(0.10)、-log(0.0・・・1) なので、非常に情報量が高い。 ・L2ノルムの場合 No.1の家：実際に壊れたと観測される家は、予想確率が高いものだと思うので、予想確率が低いNo.1の家との距離は非常に大きくなると思われる。 No.10の家：実際に壊れたと観測される家のうち、予想確率が低いもの（ノイズが大きく外れたもの）との距離が爆発的に大きくなり、距離は大きくなると思われる。 こう考えると、あまり差が見られない気がします。L2ノルムが外れたデータに弱い分、エントロピーの方が実際のデータに対してもうまくいきそうな気がしますが、どちらが有効的なのでしょうか？