- ベストアンサー
情報量の基本概念
情報量に対しての基本的な考えについて聞きたいのですが対数と確率を使って情報量を定義するのはなぜかが知りたいです。特に確率をなぜ使うのかがよくつかめないです。
- tezushu
- お礼率33% (2/6)
- その他（学問・教育）
- 回答数2
- ありがとう数1
- みんなの回答 （2）
- 専門家の回答
質問者が選んだベストアンサー
確率はいつも１以下の少数か分数です。 又、起こりにくい現象ほど情報が多いということにします。 これを組み合わせてI(A) = -log2P(A)を情報量として表します。詳細は下記をどうぞ。
その他の回答 (1)
- nota55
- ベストアンサー率37% (138/366)
あいまいな言い方になってしまうのですが， 情報量を語る際に，その絶対量を計測する事が不可能であれば， それは確率・統計的に算出するより他に方法がないため。 ではないでしょうか。 また ・統計的にある数字を出すという事 と ・確率的にどのような数字に収束するか という事が等価であるんじゃないかなぁ，と足らない頭 で考えております。
関連するQ&A
- 平均情報量の計算について
平均情報量の計算について 対数の基本はWEBで調べて理解が出来たのですが、 問題に応用が効かず困っております。。 下記について式も併せて教えていただけないでしょうか。 よろしくお願いします。 問1 特殊加工した為に出現頻度が異なる立方体のサイコロを1回振った場合の平均情報量を計算しなさい。 面1：1/4 面2：1/4 面3：1/6 面4：1/6 面5：1/6 面6：0
- 締切済み
- 数学・算数
- バーコードの情報量についてです
バーコードの情報量についてです JANコードの記録可能な情報量を知りたいです。 情報量の定義がよくわかりません。 bit？byte?それ以外でしょうか？ どうぞお願いいたします。
- ベストアンサー
- その他（インターネット接続・通信）
- AIC(赤池情報量規準)の導出過程
現在ＡＩＣ(赤池情報量規準)について勉強しています。 対数尤度/平均対数尤度/期待平均対数尤度 といった似た言葉が多く混乱しています。 以下の記述は私の理解を整理したものですが、おかしな点はあるでしょうか？ ----------------------------------------------- 以下のように記号を定義する θ：未知のパラメータ θ*:真のパラメータ θ★:パラメータの最尤推定量 K:モデルの自由パラメータ数 対数尤度：l(θ) 平均対数尤度のn倍：l*(θ) 期待平均対数尤度：l'*(K) 統計モデルの良さを評価したいとき ●(Ｋ－Ｌ情報量)が小さい(０に近い)モデルほど良いモデル ↓ ●(Ｋ－Ｌ情報量)は (定数)－（平均対数尤度） で表されるので (平均対数尤度)が大きいほど良いモデル ↓ ●(平均対数尤度のn倍)が大きいほど良いモデル (∵nは標本数であり一定だから) ↓ ●(平均対数尤度のn倍)の不偏推定量である(対数尤度)が最大になるような未知のパラメーターθ★を求める。これが最尤推定値。 ↓ ●(平均対数尤度のn倍)に最尤推定値θ★を代入した、 l*(θ★)が大きいほど良いモデル ↓ ●l*(θ★)は、得られた標本 x_i (i=1,2,…,n) に依存する値 (∵最尤推定値θ★はx_iによって表される) なので、 l*(θ★)の x_i (i=1,2,…,n) についての期待値をとると これが(期待平均対数尤度) l*'(K) となり、この値が大きいほど良いモデル ↓ ●とはいえ、真のモデルが未知であるため、(期待平均対数尤度)は 実際には求められない ↓ ●(期待平均対数尤度)の不偏推定量である l(θ★)－Ｋ が大きいほど 良いモデル ↓ ●歴史的経緯により、l(θ★)－Ｋ を－２倍した値が、ＡＩＣ(赤池情報量規準) であり、ＡＩＣが小さいほど良いモデル 以上 ----------------------------------------------- ここまでで、どこかおかしなところはあるでしょうか？ よろしくお願いします。
- ベストアンサー
- 数学・算数
- 正規化相互情報量について
添付ファイル上の正規化相互情報量の算術平均と相互情報量の定義式の意味が分かりません。Ｉは関数なのか？なぜ相互情報量Ｉ（Ｘ；Ｙ）の定義式に突然，Ｂ，Ａが出てくるのか？ご指導下さい。
- ベストアンサー
- 数学・算数
- 基本情報試験の対数の問題について
基本情報の試験勉強をしていますが、対数でつまづいています。 以下の式において LOG 2 100000000 = LOG 2 10 8 = 8 LOG 2 10 = 8 * 3.321928 = 26.57542 = 8 * 3.321928の式 がわかりません。 要は、2を何乗すると10になるかということだと理解していますが、この3.321928という値はどういう計算で出てくるのでしょうか？
- ベストアンサー
- 情報処理技術者
- ビットの情報量
知人の生徒から下記に内容の問題の相談受けましたが、 いまいち、理解が出来ず説明が出来ません。 基礎的な事と思いますが、ご理解ある方助言願います。 「一箱に赤球１００個入っているとする（他の色の球はない）。１つの玉を出して色を教えてもらった時、何ビットの情報量がえられるか？」 定義式が分かれば説明出来るのですが、基礎定義等ありますか？ よろしくお願い致します。
- ベストアンサー
- その他([技術者向] コンピューター)
- 僕は今基本情報の勉強をしています。基本情報は今年の秋で合格させる予定で
僕は今基本情報の勉強をしています。基本情報は今年の秋で合格させる予定です。 基本情報が合格した後に、 応用情報を受験しようか～ ネットワークスペシャリストを受験しようか迷っています。 自分の考えではできるだけ早めに専門的な勉強をしたいと考えているのでネットワークスペシャリストを受験したいと思っています。 もし、応用情報を受験したほうがいいなどの意見がございましたらよろしくお願いします。
- ベストアンサー
- 情報処理技術者
- カルバックライブラー情報量におけるlog0の計算
現在、大学の卒業研究でカルバックライブラー情報量について勉強しています。 カルバックライブラー情報量は、 6面のサイコロを100回投げたときの確率が、 f = (0.20 , 0.12 , 0.18 , 0.12 , 0.20 , 0.18) であり、理想的なサイコロの目の出る確率が、 g = (1/6 , 1/6 , 1/6 , 1/6 , 1/6 , 1/6) であるとすると 1/6 log{(1/6)/0.20} + 1/6 log{(1/6)/0.12} + ... + 1/6 log{(1/6) / 0.18} = 1/6 log(1/6) - 1/6 log(0.20) + ... +1/6 log(1/6) - 1/6 log(0.18) = 0.0231 という計算式になると思います。 もし、6面のサイコロを100回投げたときの確率が、 f = (0.00 , 0.22 , 0.18 , 0.22 , 0.20 , 0.18) だった場合、 1/6 log{(1/6)/0} + ... = 1/6 log(1/6) - 1/6 log(0) + ... となりますが、log(0)をどうすればいいのでしょうか... わかる方教えていただきたいです
- ベストアンサー
- 数学・算数
- 情報量とエントロピーの関係について
大学の物理化学の講義で、異なる2種類の気体を混合した際のエントロピーの変化量は ΔS=-Rn{x_alog(x_a)+x_blog(x_b)} （x_a, x_bは気体のモル分率、Rは気体定数、nは全モル、logは自然対数） となることを習いました。先生によれば、これは情報量と関係があるとのことでした。 そこで、m種類の気体の混合とl(<m)種類の気体の混合において、どちらのエントロピーの変化がどれだけ大きくなるのか、またそれが情報量とどのような関係にあるのか考えました。 まず、２つの体積が等しい球形の容器を用意し、それらを仕切板で、それぞれm個の部屋とl個の部屋に区切ります。ただし、部屋は互いに区別できないとします（上から見ると、ホールケーキをm等分したときのような分け方になります）。 次に、m個の部屋にm種類の気体を n/m molずつ入れていきます。同様にl個の部屋にも n/l molずつ気体を入れます。ただし、気体については「それぞれが異なる」ということしかわかっていないとします。 最後ににそれらを温度、圧力が一定の部屋に置き、仕切り版を全て一斉に取り除きます。 するとエントロピーの増加はm個の気体の方では Rnlogm、l個の気体の方では Rnloglとなり、差がRnlog(m/l) となるので、たしかに情報量の比 m/l と明確な関係があるとわかりました。 しかし、以下の思考実験では、情報量に差があってもエントロピーが同じになることもあるという結果になりました。 まず、上の実験と同じ容器を用意し、m個の仕切り版で区切り、m種類の気体を n/m molずつ入れ、温度、圧力が一定の部屋に置きます。 ここで、仕切り版の取り方を(1)時計回りに一つずつ取る (2)ランダム一つずつに取る の二通りにすると、仕切り版を一つずつ取る取り方は全部でm!通りあるので、(1)では仕切り版の取り方は確率1/mでわかりますが（始めの一つはわからない）、(2)では確率1/m!でわかります。ここで情報量の差（不確かさの差？）が (m-1)! 倍だけ生じると思うのですが、エントロピーは状態量なのでその変化は仕切り版の取り方によらず同じになります。 この思考実験のどこかが間違っていますか？ それともエントロピーと情報量は必ずしも相関しないのですか？
- 締切済み
- 物理学
お礼
なるほど、情報量は驚きの量と聞いたのを思い出しました。貴重な事象、つまり確率の高い事象を情報量が多いと定義したので確率を使うのは必然なんですね。