- 締切済み
シャノンのエントロピーの計算について
- みんなの回答 （1）
- 専門家の回答
みんなの回答
- ojisan7
- ベストアンサー率47% (489/1029)
>友人の住んでいる階が分かった時に得られる情報量は何ビットか ちょっと、ご質問の意味が明瞭ではないですが、友人の住んでいる階が分かったとういう条件下において、友人の部屋を探す場合のエントロピーでしょうか。もし、そうならば、これは「エントロピー」でなく、「条件付きエントロピー」を計算しなければなりません。
関連するQ&A
- シャノンのエントロピーの問題について
以下のシャノンのエントロピーについての問題を解いてみたのですが、合っているか確認してもらえないでしょうか？よろしくお願いします。 １．６階建てで各階に１号室から４号室まで１４室があるマンションに住んでいる友人を訪ねるものとする。以下の設問に答えよ。 問１ 友人の住んでいる階が分かった時に得られる情報量は何ビットか。 問２ 部屋番号が分かった時に得られる情報量は何ビットか。 問３ ５階の１０号室というように、階と部屋番号の両方が分かったときに得られる情報量は何ビットか。 問1 －(1/6)log[2]＝log6 問2 -(1/4)log[2]=log4 問3 -(1/24)log[2]=log24
- 締切済み
- 数学・算数
- シャノンの結合エントロピーについて
タイトルどおりシャノンの結合エントロピーについてなんですが 結合事象系Ａ，Ｂが存在する場合、 Pi = p(Ai ∩ Bj) H(AB) = -∑∑Pij log Pij = -∑∑p(Ai ∩ Bj) logp (Ai ∩ Bj) = -∑∑p(Ai)p(Bj | Ai) log p(Ai)p(Bj | Ai) . . . H(AB)= H(A) + H(B | A) という式になるのはわかるのですが、結合事象系Ａ、Ｂ、Ｃと３つ存在する場合の式の展開がわかりません。 参考書によると上記の式を基に H(ABC) = -∑∑∑Pijk log Pijk で求めることができると書いてありましたが、上記の式のような展開の仕方が私ではできません。 特に、条件付確率部分の展開がわかりません。 ネットでいろいろ調べましたが、どこも結合事象系が2つの場合の結合エントロピーの解法しか見つかりませんでした。 どなたかご教授お願いします。
- ベストアンサー
- 数学・算数
- シャノンの「情報」定義って？
シャノンの情報の定義を調べていくと、「起こりうる事象がいくつか考えられ，そのうちどれが実際に起こるかが不確定であるとき，そのエントロピーを減少させる働きを持つもの」「いま、起こりうる状況として、Z1, Z2, Z3 … Znが考えられるが、このうちどれが実際に起こるかが、完全に明らかではないものとする。そのとき、この体系は「一定量の不確実性を持っている」というが、この不確実性の量を減らすもの」云々などを得ることができたのですが、はっきり言ってどんなものなのかイマイチよく分かりません。シャノンの情報定義とはそもそも何なのか、また、シャノンの情報理論による、具体的なメリット・恩恵や影響にはどんなものがあるのか、分かりやすく教えていただけたら嬉しいです。また、高校生でも分かるような参考書などがあれば教えて頂きたいです。
- ベストアンサー
- その他（学問・教育）
- エントロピーを計算？
こんにちは、大学のレポートでエントロピーを実際に計算しろ。 というものが出てしまって困っています。 実際講義では一切計算には触れていないので、何がなんだかよくわかりません。 説明で ○言語Lにおいて、単語列w1w2…wkの出現確率をP(w1w2…wk) とすれば、言語LのエントロピーH0(L)は次式で定義される。 H0(L)=-ΣP(w1w2・・・wk) log2 P(w1w2・・・wk) ○１単語あたりのエントロピーH(L) H(L) = -Σ1/kP(w1w2・・・wk) log2 P(w1w2・・・wk) ○パープレキシティ Fp(L)=2H(L) 問題の例は、 ●10個の数字が等確立で発生される場合 解：H=-Σ9 i=0 p(i)log2p(i)= 10 × log2 10/10= 3.32(bits) となるようです。 Σの上と下に付く数字はΣの後ろについてる「9」と「i=0」です。 問題は ●10個の数字のうち、0の確率が0.91で、残りの数字がそれぞれ0.01である場合 ●「はい」「いいえ」の2単語が等確率で発生される場合 というものです。 是非、分かるかた教えてください。お願いします。
- 締切済み
- 物理学
- 情報量の問題で
以下の情報量の問題を解いてみたのですが、合っているか確認していただけないでしょうか？よろしくお願いします。 1.ある大学の教授を訪ねるものとする。この教授の研究室のあるビルは11階建てで、各階に1号室から15号室まで15室の研究室があり、各室にはＸ階のＹ号室というように階と部屋番号の組からなる番号が付けられているものとする。 問１．その教授の研究室が特定の階（例えば７階）にある確立を求めよ。 問２．同じく、研究室の部屋番号が特定の番号（例えば８号室）である確立を 求めよ。 問３．教授の研究室の階と部屋番号の組（例えば７階の８号室）は、その部屋の位置を知らせる情報である。この情報量は何ビットか。 問１ -(1/11)log[2](1/11)=log11 問２ -(1/11)log[2](1/11)=log11 問３ -(1/165)log[2](1/165)=log165
- 締切済み
- 数学・算数
- 情報エントロピーについて
ネットで情報エントロピーを調べたら以下のような内容が出ていました。 エネルギーの局在(偏り)の度合いを表すとのことですが、インクを水に落とした状態はエントロピーが「低い」とのこと。偏りがあるのだからエントロピーが「高い」状態ではないのですか？物理初心者です。教えてください。 読み方 ： ジョウホウエントロピー 物理学のエントロピーの概念を、情報量の定義指標として情報理論に導入したもの。情報科学の祖と言われる Claude E. Shannon (クロード・シャノン)氏が1948年に考案した理論の一部で、その後の情報科学の発展に大きく寄与した。 物理学のエントロピーは「乱雑さ」とも訳され、物質やエネルギーの局在(偏り)の度合いを表す。例えば、水の入ったコップにインクをたらすと、最初はインクの分子は水の中のある部分に「もや」のようにかたまっている。これが「エントロピーの低い状態」である。しかし、時間の経過とともにインクはコップ全体に行き渡り、やがで均一な色になる。この状態が「エントロピーの高い状態」である。自然界では、エントロピーは系全体としては減少することなく、時間とともに増加を続ける。これが物理学の「熱力学第2法則」である。
- ベストアンサー
- 物理学
- 情報量
情報量 ＝ log() または、エントロピーで計算することは知っているのですが、「雑談」の情報量はどのようにして計算したらいいのでしょうか？？ いまいちピンとこないんですけど、計算なんてできるんでしょうか。。。
- ベストアンサー
- その他（学問・教育）
