• 締切済み

情報量?エントロピー?

大学の講義で、「情報量」と「エントロピー」について習いました。でもいまいち2つの違いが分かりません(>_<) 式も似てますし…。 おバカな私でも分かる様に誰か説明してください(ToT)

みんなの回答

  • ma_
  • ベストアンサー率23% (879/3732)
回答No.2

長い間の平均情報量は、log21/pで得た情報量に確率をかけると求められる。これは次のような公式になる。  H = plog21/p+(1-p)log21/(1-p)  このHをエントロピーと呼ぶ。 これが難しい説明。 情報量とは、受け手の知識の増加分であり受け手の不確かさの減少分です。 エントロピーとは「無秩序さ」、「あいまいさ」 、「不確実性」、「不明確さ」を表すものです。 下記サイトは、もっと簡単に説明されています。

参考URL:
http://www.ges.kurume-nct.ac.jp/~yt2001/Yt/essay/E020302.html
  • gootara01
  • ベストアンサー率55% (22/40)
回答No.1

このURLはどうですか? 例もあってかなりわかりやすいと思いますが。 http://www.sens.ee.saga-u.ac.jp/wakuya/lecture/intro-comp_h13/lecture-010618.htm

参考URL:
http://lecture.ecc.u-tokyo.ac.jp/~quenitox/000517-2.html

関連するQ&A

  • 情報量とエントロピーの関係について

    大学の物理化学の講義で、異なる2種類の気体を混合した際のエントロピーの変化量は ΔS=-Rn{x_alog(x_a)+x_blog(x_b)} (x_a, x_bは気体のモル分率、Rは気体定数、nは全モル、logは自然対数) となることを習いました。先生によれば、これは情報量と関係があるとのことでした。 そこで、m種類の気体の混合とl(<m)種類の気体の混合において、どちらのエントロピーの変化がどれだけ大きくなるのか、またそれが情報量とどのような関係にあるのか考えました。 まず、2つの体積が等しい球形の容器を用意し、それらを仕切板で、それぞれm個の部屋とl個の部屋に区切ります。ただし、部屋は互いに区別できないとします(上から見ると、ホールケーキをm等分したときのような分け方になります)。 次に、m個の部屋にm種類の気体を n/m molずつ入れていきます。同様にl個の部屋にも n/l molずつ気体を入れます。ただし、気体については「それぞれが異なる」ということしかわかっていないとします。 最後ににそれらを温度、圧力が一定の部屋に置き、仕切り版を全て一斉に取り除きます。 するとエントロピーの増加はm個の気体の方では Rnlogm、l個の気体の方では Rnloglとなり、差がRnlog(m/l) となるので、たしかに情報量の比 m/l と明確な関係があるとわかりました。 しかし、以下の思考実験では、情報量に差があってもエントロピーが同じになることもあるという結果になりました。 まず、上の実験と同じ容器を用意し、m個の仕切り版で区切り、m種類の気体を n/m molずつ入れ、温度、圧力が一定の部屋に置きます。 ここで、仕切り版の取り方を(1)時計回りに一つずつ取る (2)ランダム一つずつに取る の二通りにすると、仕切り版を一つずつ取る取り方は全部でm!通りあるので、(1)では仕切り版の取り方は確率1/mでわかりますが(始めの一つはわからない)、(2)では確率1/m!でわかります。ここで情報量の差(不確かさの差?)が (m-1)! 倍だけ生じると思うのですが、エントロピーは状態量なのでその変化は仕切り版の取り方によらず同じになります。 この思考実験のどこかが間違っていますか? それともエントロピーと情報量は必ずしも相関しないのですか?

  • エントロピーとエンタルピーについて

    何度、教科書を読んでもエントロピーとエンタルピーがどういうものであるかが、想像つきません。 学生時代に、まじめに講義を受けておけば良かったと後悔しています。 バカにでも分かるように、どなたか説明していただけないでしょうか? どうぞよろしくお願いします。

  • エントロピー(情報量)について

    エントロピー(情報量)について 画像符号化について質問があります. 符号化では主に予測を行い,予測誤差を算出しています. 元々の画像が 8bit/pel だった場合,誤差の範囲は-255~255となり 9bit/pel となります. ここで質問があります. 予測誤差のエントロピーって単純に出現した誤差の出現頻度を求めて,計算すれば良いのですか? 実際の誤差の範囲(max-min+1)が8bit(0~255)におさまっていなくても良いのでしょうか? お願いいたします.

  • エントロピーについて

    学校の講義で「エントロピーについてわかりやすく説明しなさい」という課題のレポートが出されました。しかし、『エントロピー』とは、いったい何なのかいまいち理解できてません。わかる方、詳しく説明をいただけるとありがたいですね。お願いします!!

  • 情報エントロピーについて

    ネットで情報エントロピーを調べたら以下のような内容が出ていました。 エネルギーの局在(偏り)の度合いを表すとのことですが、インクを水に落とした状態はエントロピーが「低い」とのこと。偏りがあるのだからエントロピーが「高い」状態ではないのですか?物理初心者です。教えてください。 読み方 : ジョウホウエントロピー  物理学のエントロピーの概念を、情報量の定義指標として情報理論に導入したもの。情報科学の祖と言われる Claude E. Shannon (クロード・シャノン)氏が1948年に考案した理論の一部で、その後の情報科学の発展に大きく寄与した。  物理学のエントロピーは「乱雑さ」とも訳され、物質やエネルギーの局在(偏り)の度合いを表す。例えば、水の入ったコップにインクをたらすと、最初はインクの分子は水の中のある部分に「もや」のようにかたまっている。これが「エントロピーの低い状態」である。しかし、時間の経過とともにインクはコップ全体に行き渡り、やがで均一な色になる。この状態が「エントロピーの高い状態」である。自然界では、エントロピーは系全体としては減少することなく、時間とともに増加を続ける。これが物理学の「熱力学第2法則」である。

  • 情報エントロピーと最大エントロピー法

    情報エントロピーというものがあるらしいのですが、なんでしょうか。熱力学などででてくるエントロピーは知っていますが、情報エントロピーはイメージできません。 長期的に時間変化する量(天文学や地質学などの観測データ)の数学的解析法である最大エントロピー法(MEM)を理解する上で必要な概念なのですが、分かりません。 そもそもこの概念がどの分野に属するのかすら分かりません。 誰かご存じの方よろしくお願いします。

  • エントロピーの変化量について

    エントロピーの変化量について質問です。 (1)20℃の水に80calの熱量を加えた時のエントロピーの変化量を求めよ (2)10g、20℃の水に80calの熱量を加えて28℃にした時のエントロピーの変化量を求めよ (1)はΔS=80/293(cal/K)となることは分かったのですが、(2)の場合 の25℃になった場合のエントロピーの変化量はどのように計算するのでしょうか? またこの答えですが、(1)は熱量が入る前のエントロピーと熱量が入った後のエントロピーとの差を表し、(2)は熱量が入って28℃になった時のエントロピーと20℃の時のエントロピーとの差を表しているという理解でよろしいでしょうか? よろしくお願いします。

  • 情報量、条件付きエントロピーについて

    情報量、条件付きエントロピーについて質問があります。 事象A:サイコロを振って出た目 事象B(b1,b2) b1:サイコロの目は3の倍数 b2:サイコロの目は3の倍数以外 サイコロは普通のサイコロです。(1から6全て確率1/6) この時、サイコロの目が事前に3の倍数だと分かっている時の、AのエントロピーH(A|b1)を求めよという問題がわかりません。 どうか教えて下さい。

  • 単純マフコフ情報源のエントロピー

    単純マフコフ情報源のエントロピーの式のイメージがいまいちつかめません。 H(Xt) = H(Xt|Xt-1) ということで、一つ前の生起した記号がわかっている条件下でのXt、ということだと思うのですが、なぜ条件付きエントロピーにするのでしょうか? よろしくお願いします。

  • 情報量

    情報量 = log() または、エントロピーで計算することは知っているのですが、「雑談」の情報量はどのようにして計算したらいいのでしょうか?? いまいちピンとこないんですけど、計算なんてできるんでしょうか。。。