情報エントロピーについて

質問

ネットで情報エントロピーを調べたら以下のような内容が出ていました。
エネルギーの局在(偏り)の度合いを表すとのことですが、インクを水に落とした状態はエントロピーが「低い」とのこと。偏りがあるのだからエントロピーが「高い」状態ではないのですか？物理初心者です。教えてください。

読み方 ： ジョウホウエントロピー

　物理学のエントロピーの概念を、情報量の定義指標として情報理論に導入したもの。情報科学の祖と言われる Claude E. Shannon (クロード・シャノン)氏が1948年に考案した理論の一部で、その後の情報科学の発展に大きく寄与した。

　物理学のエントロピーは「乱雑さ」とも訳され、物質やエネルギーの局在(偏り)の度合いを表す。例えば、水の入ったコップにインクをたらすと、最初はインクの分子は水の中のある部分に「もや」のようにかたまっている。これが「エントロピーの低い状態」である。しかし、時間の経過とともにインクはコップ全体に行き渡り、やがで均一な色になる。この状態が「エントロピーの高い状態」である。自然界では、エントロピーは系全体としては減少することなく、時間とともに増加を続ける。これが物理学の「熱力学第2法則」である。

回答No.2

shkwta · ベストアンサー

たとえば、縦4行、横16列の升目を考えます。左から4×4の升目を区切っていき、できた4つのグループを第1群から第4群と呼ぶことにします。

[A]インクをたらした最初の状態＝第1群は16升が全部インク、第2～4群の計48升は全部水
[B]インクが均一に広がった状態＝第1～4群がすべてインク4升、水12升の構成になっている

と考えます。物理のエントロピー(S)は、巨視的状態に対応する微視的状態の数（W)の対数に比例します。比例定数はボルツマン定数(KB)と呼ばれます。

S = KB ln W

[A]は微視的状態が１通りしかないのに対して、[B]は1097199376000通りありますから、[B]は[A]に比べて約30倍のエントロピーがあることになります。

情報エントロピーで考えると、[A]は1つの状態しかなく、伝えるべき情報がないので0ビットとなります。
[B]は、log[底2]1097199376000 = 約43.3ビットとなります。[B]の状態のうちの１つを指定するにはそれだけのビット数が必要であることを意味します。

回答No.4

tatsumi01

物理学のエントロピーと情報理論のエントロピーは式の形が似ているだけで、全く別物です（マクスウェルの魔によるエントロピー法則の破れを情報量で説明しようという試みはありますが）。
エントロピーが高いか低いかは、定義式の符号をよく見て下さい。

回答No.3

shkwta

No.2です。訂正します。
[B]は[A]に比べて約30倍のエントロピーがあることになります。
↓
[A]のエントロピーは0であるのに対して、[B]のエントロピーはKBの約30倍となります。

回答No.1

osamuy

例えば、インクが2個の粒子aとbだけとして、バケツをしきりで区切って二つの領域UとVに分けた場合、
・たらした直後→Uにaとbがある。
・拡散した状態→Uにa、Vにbがある。もしくはUにb、Vにaがある。

――のパターンが考えられ、各々のエントロピーを計算してみると、どっちが低いか分かるかと。

参考URL：

http://www.applc.keio.ac.jp/~asakura/asakura_j/dissipative.html