- ベストアンサー
情報エントロピーについて
ネットで情報エントロピーを調べたら以下のような内容が出ていました。 エネルギーの局在(偏り)の度合いを表すとのことですが、インクを水に落とした状態はエントロピーが「低い」とのこと。偏りがあるのだからエントロピーが「高い」状態ではないのですか？物理初心者です。教えてください。 読み方 ： ジョウホウエントロピー 物理学のエントロピーの概念を、情報量の定義指標として情報理論に導入したもの。情報科学の祖と言われる Claude E. Shannon (クロード・シャノン)氏が1948年に考案した理論の一部で、その後の情報科学の発展に大きく寄与した。 物理学のエントロピーは「乱雑さ」とも訳され、物質やエネルギーの局在(偏り)の度合いを表す。例えば、水の入ったコップにインクをたらすと、最初はインクの分子は水の中のある部分に「もや」のようにかたまっている。これが「エントロピーの低い状態」である。しかし、時間の経過とともにインクはコップ全体に行き渡り、やがで均一な色になる。この状態が「エントロピーの高い状態」である。自然界では、エントロピーは系全体としては減少することなく、時間とともに増加を続ける。これが物理学の「熱力学第2法則」である。
- kiffyo
- お礼率36% (4/11)
- 物理学
- 回答数4
- ありがとう数1
- みんなの回答 （4）
- 専門家の回答
質問者が選んだベストアンサー
たとえば、縦4行、横16列の升目を考えます。左から4×4の升目を区切っていき、できた4つのグループを第1群から第4群と呼ぶことにします。 [A]インクをたらした最初の状態＝第1群は16升が全部インク、第2～4群の計48升は全部水 [B]インクが均一に広がった状態＝第1～4群がすべてインク4升、水12升の構成になっている と考えます。物理のエントロピー(S)は、巨視的状態に対応する微視的状態の数（W)の対数に比例します。比例定数はボルツマン定数(KB)と呼ばれます。 S = KB ln W [A]は微視的状態が１通りしかないのに対して、[B]は1097199376000通りありますから、[B]は[A]に比べて約30倍のエントロピーがあることになります。 情報エントロピーで考えると、[A]は1つの状態しかなく、伝えるべき情報がないので0ビットとなります。 [B]は、log[底2]1097199376000 = 約43.3ビットとなります。[B]の状態のうちの１つを指定するにはそれだけのビット数が必要であることを意味します。
その他の回答 (3)
- tatsumi01
- ベストアンサー率30% (976/3185)
物理学のエントロピーと情報理論のエントロピーは式の形が似ているだけで、全く別物です（マクスウェルの魔によるエントロピー法則の破れを情報量で説明しようという試みはありますが）。 エントロピーが高いか低いかは、定義式の符号をよく見て下さい。
- shkwta
- ベストアンサー率52% (966/1825)
No.2です。訂正します。 [B]は[A]に比べて約30倍のエントロピーがあることになります。 ↓ [A]のエントロピーは0であるのに対して、[B]のエントロピーはKBの約30倍となります。
- osamuy
- ベストアンサー率42% (1231/2878)
例えば、インクが2個の粒子aとbだけとして、バケツをしきりで区切って二つの領域UとVに分けた場合、 ・たらした直後→Uにaとbがある。 ・拡散した状態→Uにa、Vにbがある。もしくはUにb、Vにaがある。 ――のパターンが考えられ、各々のエントロピーを計算してみると、どっちが低いか分かるかと。
関連するQ&A
- エントロピーとは何か？
熱力学におけるエントロピーとは何か自分で何件か調べてみて「乱雑さ」「秩序」という説明を良く見かけるのですがいまいち意味が理解できません。具体的に「乱雑さ」とはどういう意味なのですか？ 例えば、気体が非常に乱雑な状態とはどういう状態なんですか？乱雑でない状態と比べてどういった性質を持っているんですか？また、そのエントロピーと言うものが実際に何に役に立つんですか？ （以下は自分の解釈）検索したページで「自然にはもとに戻らないことが起った度合い」というのがありました。つまり、ある気体に変化が起こった場合、その気体を元の状態（←直前の状態？）に戻すのにかかるエネルギーが大きいことをエントロピーが大きいというんですか？ まぁ、それだとエントロピーは接線の傾きのことになってしまい、全然駄目なことは分かっているんですがどう考えればいいのか分からないので教えてください。
- ベストアンサー
- 物理学
- 情報理論
今、情報理論について学んでいます。 学ぶ内容は、自己情報量、エントロピー、Shannon-Fano符号、Huffman符号、Lempel-Ziv符号です。 これらを独学で学べる参考書はあるでしょうか？ もし、知っている方、教えて下さい(>_<)
- ベストアンサー
- その他（学問・教育）
- エントロピーと現実世界の解釈
ボルツマンについて少々調べ物をしていまして、ようやくエントロピー増大の法則について理解が出来てきた所です。 ボルツマンはエントロピーを確率論と結び付けて、エントロピーが増大するのは統計上低エントロピーな状態が起こりにくいからだ、という解釈をしているようです。 その上でボルツマンは、現実にこれだけ複雑な（ここの定義が問題ありますね。。）世界が出来上がっていることは、超長時間にわたってこの宇宙が存在してきたからと考えているらしいです。 いわば赤と青のビー玉を一緒にして箱に入れて振ると普通は混ざり合うものですが、振り続ける時間が長いと偶然偏りが出来る、地球という星はその偏りなんだ、と解釈していると僕が解釈しているわけですが。 まだまだ勉強不足で宇宙の黎明期についてあまり理解していないのですがこのボルツマンの解釈って妥当なものなんでしょうか？（僕のボルツマン解釈でなく上のボルツマンの解釈です） この宇宙をただ一つのものではなく多次元世界のうちの４次元の世界の一つとみなす解釈もありますからそうすると人間には到底想像できないような回数試行を行っているとも考えられるわけでその観点にたてばボルツマンの解釈も成り立つわけですけど…… 前提知識としては高校物理くらいまでしか理解できてないという事でその範囲で答えて頂ければありがたいです。もしそれで理解できないのであれば今後どういう領域を学んでいけば理解できるようになるのかを示して頂けると嬉しいです。自分で勉強しろって話ですが。 よろしくお願いします。
- 締切済み
- 物理学
- エントロピー計算
化学系の学科の大学生です。 「物理化学」という科目で分からないことがあるので質問させていただきます。 エントロピーの計算なのですが… 「1atm,-10℃の過冷水1molが同圧のもとで同温度の氷に変化した。このときのエントロピーの変化を求めよ。また、この変化は不可逆変化であることを示せ。ただし、0℃、1atmにおける氷の融解熱は6.01kJmol^-1、水および氷の定圧比熱容量はそれぞれ4.18、2.09JK^-1g^-1とする。」 考えたことは、 １．この変化は不可逆変化なので、熱力学第二法則を使って証明する。 ２．ΔSは状態量であること。 ぐらいです… おねがいします！
- 締切済み
- 物理学
- 情報量とエントロピーの関係について
大学の物理化学の講義で、異なる2種類の気体を混合した際のエントロピーの変化量は ΔS=-Rn{x_alog(x_a)+x_blog(x_b)} （x_a, x_bは気体のモル分率、Rは気体定数、nは全モル、logは自然対数） となることを習いました。先生によれば、これは情報量と関係があるとのことでした。 そこで、m種類の気体の混合とl(<m)種類の気体の混合において、どちらのエントロピーの変化がどれだけ大きくなるのか、またそれが情報量とどのような関係にあるのか考えました。 まず、２つの体積が等しい球形の容器を用意し、それらを仕切板で、それぞれm個の部屋とl個の部屋に区切ります。ただし、部屋は互いに区別できないとします（上から見ると、ホールケーキをm等分したときのような分け方になります）。 次に、m個の部屋にm種類の気体を n/m molずつ入れていきます。同様にl個の部屋にも n/l molずつ気体を入れます。ただし、気体については「それぞれが異なる」ということしかわかっていないとします。 最後ににそれらを温度、圧力が一定の部屋に置き、仕切り版を全て一斉に取り除きます。 するとエントロピーの増加はm個の気体の方では Rnlogm、l個の気体の方では Rnloglとなり、差がRnlog(m/l) となるので、たしかに情報量の比 m/l と明確な関係があるとわかりました。 しかし、以下の思考実験では、情報量に差があってもエントロピーが同じになることもあるという結果になりました。 まず、上の実験と同じ容器を用意し、m個の仕切り版で区切り、m種類の気体を n/m molずつ入れ、温度、圧力が一定の部屋に置きます。 ここで、仕切り版の取り方を(1)時計回りに一つずつ取る (2)ランダム一つずつに取る の二通りにすると、仕切り版を一つずつ取る取り方は全部でm!通りあるので、(1)では仕切り版の取り方は確率1/mでわかりますが（始めの一つはわからない）、(2)では確率1/m!でわかります。ここで情報量の差（不確かさの差？）が (m-1)! 倍だけ生じると思うのですが、エントロピーは状態量なのでその変化は仕切り版の取り方によらず同じになります。 この思考実験のどこかが間違っていますか？ それともエントロピーと情報量は必ずしも相関しないのですか？
- 締切済み
- 物理学
- 疑似科学の境界線って？
疑似科学、トンでも科学といわれるものが 世の中には多々あることは認めています。 支離滅裂な理論や、商売のための胡散臭いデッチ上げ情報なんかも確かに氾濫しています。 私も趣味の範囲で似非科学、トンでも科学批判の本（カール・セーガンの著作など）を読んだりしてますが、最先端物理学の本なども好んで読んでいます。 最先端物理学/宇宙論の理論で注目を集めているのが、 １１次元のエネルギーのひもが宇宙をつくるという「超ひも理論」や、宇宙のすべてのものは微細なエネルギーの海「量子真空」でつながっているといった理論や 私たちの世界はすべて、時空を超越したレベルからの投影であるという「ホログラフィック・ユニバース」 等なのですが、これらは、もちろん実験、検証したりできません。 が、これらの理論を唱えている人たちは一流の科学者、天才科学者と称されている人たちなのです。 また、常識を覆すような論文が権威ある論文雑誌「ネイチャー」などにも掲載されているようです。 選考を通ったってことは、それなりに一目おかれているというわけですよね？ 常識を覆すような最先端物理学の理論は「疑似科学・トンでも科学」には入らないのでしょうか？ それとも「疑似科学・トンでも科学」批判をしている人はニュートン物理学までの知識で科学を語っているのでしょうか？ 「疑似科学」の境界線がいま一つわかりません。。 （私は別に似非科学、トンデモ科学を擁護しようと思っているわけではありません。純粋に質問してみたいだけです。）
- ベストアンサー
- 科学
- 情報理論、ハフマン符号について
こんにちは、 今年、技術士１次試験（電気電子部門）を受験する予定です。試験問題（専門科目）をざっと見たのですが、だいたい勉強すれば解けそうなものが多いのですが、中に「情報理論」「符号理論」「ハフマン符号」「符合の木」と呼ばれる全く馴染みのない問題が出題されていました。 全く知らないので初歩を勉強したいのですが、これらを初歩の初歩から解説した本等を教えてください。アマゾンで調べましたが、概要がすぐに解かる様な本はなかったです。 下記解説も、いきなり「エントロピー」が出てきて難解そうです。一応エントロピー（エネルギーの質が時間経過により悪化するもの）はボルツマンの熱力学第二法則として理解しておるつもりですが、なぜそのエントロピーが、情報や符号と関わりあうのか？何となく理解できそうで、理解できません。この理論は本気で取り組むと底が深そうなので、エントロピー無しの本が有難いです。ちなみに試験は１０月です。 http://www.yobology.info/text/Huffman_code/Huffman_code.htm
- ベストアンサー
- 科学
- マルコフ情報源のエントロピーレートの導出方法について教えて下さい。
マルコフ情報源のエントロピーレートの導出方法について教えて下さい。 大学の過去問です。 解答が無いので自力で解かなければならないのですが、行き詰まってしまいました。 もし助けて頂ければ助かります。 状態A,B,Cを行き来する定常的マルコフ情報源のエントロピーレートを求める問題です。 状態遷移確立がそれぞれ P(A|A)=0.4 P(B|B)=0.5 P(C|C)=0.8 P(A|B)=0.25 P(B|A)=0.3 P(C|B)=0.25 P(A|C)=0.1 P(B|C)=0.1 P(C|A)=0.3 で与えられています。 自分の考える解き方の大筋としては (1) 定常分布の式を立てる (2) (1)よりそれぞれの定常確率を求める (3) 系のエントロピーを求める (4) (2)、(3)とマルコフ情報源のエントロピーレート導出の 公式により解を求める という感じです。 (1)において P(A)=P(A)*0.4+P(B)*0.25+P(C)*0.1 P(B)=P(A)*0.3+P(B)*0.5+P(C)*0.1 P(C)=P(A)*0.3+P(B)*0.25+P(C)*0.8 P(A)+P(B)+P(C)=1 の連立方程式を立て、解こうと試みたのですが。 解を得る事が出来ません。 http://www.usamimi.info/~geko/arch_acade/elf001_simult/index.html のプログラムでの演算も試してみましたがやはり解を得られませんでした。 自分の計算式に何か間違いがあるのでしょうか？ また自分の解法自体にも問題がありましたらご指摘をお願い致します。 今回、情報理論を初めて勉強しているもので、もしかして全く見当違いの質問かも しれませんが、宜しくお願い致します。
- 締切済み
- 数学・算数
- エントロピーと気体分子運動論
エントロピーと気体分子運動論 いま学校の物理でエントロピーについて勉強しているんですが、 問題集の中に解き方がわからない問題があって困ってます。 その問題がこれです。 問題１：準静的な断熱変化ではエントロピーは変化しない。この事と温度T、体積Vのnモルの理想気体の エントロピーを求めよ。 問題２：一辺の長さがLの立方体の容器に入っている1モルの単原子分子理想気体について、分子運動論に関する 次の問いに答えよ。ただし、分子の質量をm、気体定数をR、アボガドロ数をNaとする。 （１）i番目の分子の速度を→ci=(ui,vi,wi)とする。この分子の単位時間にx軸に垂直な１つの壁に与える力積は mui2（２乗）/Lであることを証明せよ。 （２）分子の速さcの２乗の平均値<c2（２乗）>を用いて、気体の圧力pを表せ。 （３）理想気体の状態方程式を利用して、気体の内部エネルギーUを温度Tの関数として表せ。 教科書や参考書を見てもいまいち解き方がわからないので、解き方と答えを教えてほしいです。 よろしくお願いします。
- ベストアンサー
- 物理学
- 運動エネルギーと熱エネルギー
運動エネルギーと熱エネルギーについて教えてください。 物理学は門外漢です。 ただエネルギーは理論上消滅しないと思っています。 最近熱エネルギーが意外と大きいのではないかと思うようになりました。 それで、いろいろ計算方法を調べますが、全くわけがわかりません。 簡単な事例を示しますので、これで説明してもらえませんか。 １００ｍ四方の立方体に水が満タンに蓄えてあります。小さなダムと言えると思います。 この水を放水して全て流してしまうと、位置エネルギーが放出（平均高さ５０ｍ）されます。そのエネルギーがすべて水に吸収される（蒸発などは考えない）と、水の温度はどれだけ上昇するのでしょうか。 初心者にもわかるように解説してもらえませんか。 また、エネルギーの浪費がなく１００％効率的に熱エネルギーが取り出せるとすれば、理論上、その温度差を利用して、上の量の水を元のダムに汲み上げることが出来る（位置エネルギー）のでしょうか。 よろしくお願いします。
- ベストアンサー
- 物理学
