情報エントロピーと最大エントロピー法

質問

情報エントロピーというものがあるらしいのですが、なんでしょうか。熱力学などででてくるエントロピーは知っていますが、情報エントロピーはイメージできません。
長期的に時間変化する量（天文学や地質学などの観測データ）の数学的解析法である最大エントロピー法(MEM)を理解する上で必要な概念なのですが、分かりません。
そもそもこの概念がどの分野に属するのかすら分かりません。
誰かご存じの方よろしくお願いします。

回答No.3

system7 · ベストアンサー

エントロピーは熱力学等の物理分野において，あるシステムに許容される位相の量や状態の数の対数として定められ、不規則性または無秩序さの度合いを示すものでした。これより，情報理論では未知であることの度合い表すものとして導入されました。
　ある事象がとり得る状態がｎ個あり，各々の事象の生じ得る確率をｐk（k=1,2,・・・,n）とすると，この中の事象ｋが生じたときの情報量Ｉkは

Ｉk＝log（１／ｐk）　　（対数の底は２）

となります。事象ｋが起こりやすいほど（ｐkが１に近いほど）情報量は０に近くなり，逆に起こりにくいほど大きくなります。情報エントロピーは「一回の試行により得られであろう情報量の期待値」として

Ｈ＝Σｐk・Ｉk＝Σｐk・log(１／ｐk)＝－Σｐk・log(ｐk)

で定義されます。すべての事象が起こる確率が同様に確からしく，１／ｎならば
Ｈ＝logｎとなり，確率に偏りがある場合のエントロピーよりも大きくなります。

ＭＥＭ法はこの情報エントロピーの概念に基づき解析法で，実質的には赤池による「自己回帰式によるスペクトル推定法」と同一です。自己回帰式によるスペクトル推定法は理解が容易で計算もし易いのでこちらから勉強するのがいいと思います。次の文献を紹介します。

日野幹生：「スペクトル解析」，朝倉書店，1977, ISBN 4-254-12511-9

　ＭＥＭ法は短い時系列データからも分解能の高いスペクトル推定が可能といわれており，私の経験からもそうですが，データの質によって落とし穴があることが次の文献に出でいます。この本はいくつかのＭＥＭのアルゴリズムに関してそれぞれBASICのプログラムが添付されていて，アルゴリズムを理解するのに最適です。

青木由直：「BASIC数値計算法（改訂版）」，コロナ社，1984
ISBN 4-339-02321-3

以上参考になれば幸いです。

お礼

すいません、みなさん。
たいへんお礼が遅くなりました。
あれから、図書館に通ったりして調べていたのですが、情報エントロピーは分かりました。一方、最大エントロピー法も単独で理解しました。
ところが、その間が、頭の中でうまくつながりませんでした。能力の高い人は簡単に理解してしまうのだろうなぁと、自分の理解力の無さを憂いました。

ありがとうございました。

回答No.2

stomachman

最大エントロピー法を考える上では、情報エントロピーの詳細はあんまり重要ではありません。最大エントロピー法の考え方は「データをなるべくノイズだと解釈して、残ったのを信号とみなす」という点がポイントです。このためには、ノイズはエントロピーが大きいから、エントロピーを最大化するように信号を再現すれば良い訳です。観測対象のモデルに応じてエントロピーの定義を変えてしまうこともしばしばあります。

回答No.1

noname#4486

情報論的エントロピーは、次の式で定義されます；
S = - Σ_i k fi log(fi)
fi は i 番目標本の起こる確率。k は適当な正の定数。
i=1-10 程度で具体的な問題を考えて頂ければ、乱雑（一様）状態が最もエントロピーが高いことが感じられます。

この式からボルツマンのエントロピー "S = k log W" に帰着するのは簡単ですが、別のものだと考えた方が良いでしょう。

"S = - Σ_i k fi log(fi)" の k をボルツマン定数に置けば、形式的に "S = k log(W)" に一致することが示せますが、本当に同じモノかどうかは標本の抽出方法や考える空間によりますので、注意が必要です。

情報論的エントロピーは、「シャノンのエントロピーの式」として知られますが、他にもあるかもしれません。
これで解決しましたか？