- ベストアンサー
情報 エントロピー
お願いします！さっぱり分からないのです(ノ_＜) どなたか解ける方いませんか⁇ 問題:何か一つ具体的な「情報」を決めて、その情報量を次の1と2を踏まえた上で計算して求めて下さい。 1.あなたのもとへある情報がもたらされる前と後での、あなたの知識がもつエントロピーを H前=H(p1,p2,•••,pn) H後=H(q1,q2,•••,qm) で表すとする。この時の差 H前ーH後ビット の値を、この情報の情報量と定める。 2.H前もH後も共に正である情報にして下さい。
- カオル（@xx10ginxx）
- お礼率60% (3/5)
- 数学・算数
- 回答数1
- ありがとう数2
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
勝手に一つ例を構成すればいいの？ テーブル上のノートの下に、 トランプ１枚か花札１枚かのどっちかが置いてある。 ノートをどけてみたら、トランプの背側が出てきた。 トランプをめくってみることは許されていない。 このカードの表が何かというと… ノートをどける前は、トランプ５２枚花札４８枚の どれだか分からないのだから、 各札の登場する見込みに差がないとすれば、 H前 = -(1/100)log(1/100)×100, H後 = -(1/52)log(1/52)×52. トランプの背が見えたことの情報量は、 H前 - H後 = log(100) - log(52). エントロピーを Σ(-pi)(log pi) と定義するときの log の底は、教科書や講義によって e だったり 10 だったり 2 だったりするから、 ノートを見て確認してください。 あ、こんなのそのまま課題に書いて出したりしちゃ ダメですよ。自分の例を構成しないと。
関連するQ&A
- エントロピー（情報量）の性質
情報理論の参考書で下のような、エントロピーに関する問題がありました。 3つの確率変数X,Y,Zについて次の(a)～(d)を証明せよ。また、その意味を解釈せよ。 (a) H(X,Y,Z)≦H(X)＋H(Y)＋H(Z) (b) H(X,Y,Z)＝H(X|Y,Z)＋H(Y|Z)＋H(Z) (c) H(X,Y|Z)≦H(X|Z)＋H(Y|Z) (d) H(X|Y,Z)≦H(X|Z)≦H(X) 証明はできたんですが、意味を解釈するというのがうまく説明できません。 一応自分なりに考えてみたんですが、どうも自信がありません。 どなたか、チェックしてくれれば嬉しいんですが・・・ よろしくお願いします。 (a)X,Y,Zの値を同時に知ったときに得られる情報量より、X,Y,Zの値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (b)Z→Y→Xという順で値を知ったとすれば、Z,Y,Xのそれぞれの値を知った時点で得られるそれぞれの情報量の和は、X,Y,Zの値を同時に知ったときに得られる情報量に等しい。 (c)Zの値が既知であっても、(a)と同様に値を同時に知ったときに得られる情報量より、値を別々に知ったときに得られるそれぞれの情報量の和の方が大きい。 (d)YとZの値が既知のときより、Zの値だけが既知のときの方が、そしてZの値だけが既知のときより、既知の値がないときの方が、Xの値を知って得られる情報量は大きい。すなわち、得ている情報が少ないほど、情報により得られる情報量が大きくなる。
- 締切済み
- 数学・算数
- 単純マフコフ情報源のエントロピー
単純マフコフ情報源のエントロピーの式のイメージがいまいちつかめません。 H(Xt) = H(Xt|Xt-1) ということで、一つ前の生起した記号がわかっている条件下でのXt、ということだと思うのですが、なぜ条件付きエントロピーにするのでしょうか？ よろしくお願いします。
- ベストアンサー
- 数学・算数
- エントロピーの変化量について
エントロピーの変化量について質問です。 (1)20℃の水に80calの熱量を加えた時のエントロピーの変化量を求めよ (2)10g、20℃の水に80calの熱量を加えて28℃にした時のエントロピーの変化量を求めよ (1)はΔS=80/293(cal/K)となることは分かったのですが、(2)の場合 の25℃になった場合のエントロピーの変化量はどのように計算するのでしょうか？ またこの答えですが、(1)は熱量が入る前のエントロピーと熱量が入った後のエントロピーとの差を表し、(2)は熱量が入って28℃になった時のエントロピーと20℃の時のエントロピーとの差を表しているという理解でよろしいでしょうか？ よろしくお願いします。
- 締切済み
- 物理学
- 情報量とエントロピーの関係について
大学の物理化学の講義で、異なる2種類の気体を混合した際のエントロピーの変化量は ΔS=-Rn{x_alog(x_a)+x_blog(x_b)} （x_a, x_bは気体のモル分率、Rは気体定数、nは全モル、logは自然対数） となることを習いました。先生によれば、これは情報量と関係があるとのことでした。 そこで、m種類の気体の混合とl(<m)種類の気体の混合において、どちらのエントロピーの変化がどれだけ大きくなるのか、またそれが情報量とどのような関係にあるのか考えました。 まず、２つの体積が等しい球形の容器を用意し、それらを仕切板で、それぞれm個の部屋とl個の部屋に区切ります。ただし、部屋は互いに区別できないとします（上から見ると、ホールケーキをm等分したときのような分け方になります）。 次に、m個の部屋にm種類の気体を n/m molずつ入れていきます。同様にl個の部屋にも n/l molずつ気体を入れます。ただし、気体については「それぞれが異なる」ということしかわかっていないとします。 最後ににそれらを温度、圧力が一定の部屋に置き、仕切り版を全て一斉に取り除きます。 するとエントロピーの増加はm個の気体の方では Rnlogm、l個の気体の方では Rnloglとなり、差がRnlog(m/l) となるので、たしかに情報量の比 m/l と明確な関係があるとわかりました。 しかし、以下の思考実験では、情報量に差があってもエントロピーが同じになることもあるという結果になりました。 まず、上の実験と同じ容器を用意し、m個の仕切り版で区切り、m種類の気体を n/m molずつ入れ、温度、圧力が一定の部屋に置きます。 ここで、仕切り版の取り方を(1)時計回りに一つずつ取る (2)ランダム一つずつに取る の二通りにすると、仕切り版を一つずつ取る取り方は全部でm!通りあるので、(1)では仕切り版の取り方は確率1/mでわかりますが（始めの一つはわからない）、(2)では確率1/m!でわかります。ここで情報量の差（不確かさの差？）が (m-1)! 倍だけ生じると思うのですが、エントロピーは状態量なのでその変化は仕切り版の取り方によらず同じになります。 この思考実験のどこかが間違っていますか？ それともエントロピーと情報量は必ずしも相関しないのですか？
- 締切済み
- 物理学
- 熱の物理学 エントロピー
一様な固体を真ん中で２つの部分に分けて考える。左部分と右部分の熱容量をＣとする。この固体について、次の二つの状態を考える。 状態Ｐ：左右ともに温度Ｔ 状態：Ｑ左は温度Ｔ－δＴ、右は温度Ｔ＋δＴ 状態ＰでのエントロピーをＳ(P)、状態ＱでのエントロピーをＳ(Ｑ)とする。 1．次式を計算して2つの状態のエントロピーの差⊿Ｓ＝Ｓ(Ｑ)-Ｓ(P)を求めよ。 ⊿Ｓ＝∫p→Q：可逆 ｄ’Ｑ/Ｔ 2.⊿ＳをδＴについてテイラー展開し、δＴについて1次の項δＳが０になることを示せ。又、δＴについて２次の項δ2乗Ｓを求めよ。 3．δ2乗Ｓの正負を答えよ。 4．以上の結果より、ＰとＱのいずれの状態が平衡状態であるかを理由とともに答えよ。 この問題をよろしくお願いします（＞＜） 明日テストなのでとてもピンチです。お願いします。
- 締切済み
- 物理学
- 情報量、条件付きエントロピーについて
情報量、条件付きエントロピーについて質問があります。 事象A:サイコロを振って出た目 事象B(b1,b2) b1:サイコロの目は3の倍数 b2:サイコロの目は3の倍数以外 サイコロは普通のサイコロです。(1から6全て確率1/6) この時、サイコロの目が事前に3の倍数だと分かっている時の、AのエントロピーH(A|b1)を求めよという問題がわかりません。 どうか教えて下さい。
- 締切済み
- 数学・算数
- 等エントロピー過程において
熱力学のことで質問させていただきます。 「ポンプを用いてT1[K]、p1[kPa]の水をp2[MPa]まで昇圧(p1<p2)するときの仕事量を等エントロピー過程を仮定し求めよ。水の比容積をv[m^3/kg]とする。」 という問題があるのですが、このとき等エントロピー過程なのでdS=0となり、dQ=0なので、断熱変化を表すと考え状態1から状態2へ移るとして -vdp=dq-dh→-vdp=-dh ∴h1-h2=∫vdp (区間2→1) が仕事量にあたると思ったのですが、この右辺のvが問題での比容積にあたるのでしょうか？そうなるとvは定数になってしまうのでしょうか？vが定数なら等容変化となりp-v線図上で断熱変化を示す曲線が得られなくなり、あり得ないと思うのです。なので比容積vは圧力pの関数v(p)なので、状態方程式等を用いて変形し、積分すればいいのかと思うのですが与えられている量(p1,T1など)で表現できない気がしてどう考えても答えがでてきません…。 長々と訳のわからない文章になってしまいましたが、この問いにおいての仕事量の求め方を教えて頂きたいです。初歩的な質問で申し訳ないですが、よろしくお願い致します。
- ベストアンサー
- 物理学
- シャノンのエントロピーの問題について
以下のシャノンのエントロピーについての問題を解いてみたのですが、合っているか確認してもらえないでしょうか？よろしくお願いします。 １．６階建てで各階に１号室から４号室まで１４室があるマンションに住んでいる友人を訪ねるものとする。以下の設問に答えよ。 問１ 友人の住んでいる階が分かった時に得られる情報量は何ビットか。 問２ 部屋番号が分かった時に得られる情報量は何ビットか。 問３ ５階の１０号室というように、階と部屋番号の両方が分かったときに得られる情報量は何ビットか。 問1 －(1/6)log[2]＝log6 問2 -(1/4)log[2]=log4 問3 -(1/24)log[2]=log24
- 締切済み
- 数学・算数
お礼
とっても参考になりました＾＾！ すごい嬉しかったです！！ わたしも勉強して、少しずつですが理解してきました＾＾