情報理論について

質問

大学２年生です。
図書館で借りた情報理論の本を読んでいて、数学的な記述の部分でわからないところがありましたので、教えていただけたらと思います。

以下、分からない部分の文章です。

＊＊＊＊＊
情報源アルファベットを
A = {a_1, a_2, a_3, …, a_M}
で表し、時点 i の情報源の出力を　X_i　　(i = 0, 1, 2, …)　で表す。
X_iは情報源アルファベットの元のいずれかであるが、どれであるかは確率的に定まるので確率変数である。
まず、時点(n-1)までの情報源系列
X_0 X_1 X_2 … X_(n-1)
について考える。この情報源系列の統計的性質は、X_0, X_1, …, X_(n-1)の結合確率分布
P( x_0, x_1, …, x_(n-1) ) = [X_0 = x_0, X_1 = x_1, …, X_(n-1) = x_(n-1)となる確率]
が与えられれば、完全に定まる。ここに、
x_0, x_1, …, x_(n-1)
は情報源アルファベットAの任意の元を表している。
＊＊＊＊＊

この文章においての
x_0, x_1, …, x_(n-1)
というものが、どういう立場のものなのかがいまいち分かりません。
・・・と言いますか、文章にあるように定義については分かりますが、なぜ必要となるのかが納得できないといった方が的確かもしれません。

どういうことかといいますと、
時点 i の情報源の出力を X_i としたのにかかわらず、次いで、時点 i における任意の情報源アルファベットの元を x_i と表すことにしてますが、「これらは言い方が異なるだけで、結局は同じものを示しているのでは？」、「なぜ同じものを違う記号で二度も違う記号であらわしているのか？」と分からないのです。おそらく私の認識が間違っているためにこのような疑問があると思うので、どうか教えていただければと思います。

もう少しで納得できるような気がします。
どなたか私が、
「こうしなければ確かに駄目だよね」
と、納得できるような解説をお願いします。

回答お待ちしております。

回答No.1

uyama33 · ベストアンサー

関数f(X)を考える。
X=a
のときの関数の値は
f(a)
ただし、
a∈{１，２，３，４，５}
と比べて、多変数の場合に直して考えて、
X ⇒　X_i
a　⇒　x_i
{１，２，３，４，５} ⇒　A
のように考えてみたらどうでしょうか？

お礼

関数と対比して説明していただき、とても分かりやすかったです。
回答ありがとうございました。

補足

いただいた回答の説明とは若干違いますが、回答を参考にさせていただき、自分なりに整理してみました。

文章が長くなってしまいましたが、おそらく理解できたのではないのかなと思っているので、もしよろしければ、以下の認識であっているかを答えていただけると嬉しいです。

＊＊＊＊＊＊＊＊＊＊
よく関数を f(x) などと表記する。
ここで用いている x という文字は、まだ具体的な値が決まっていない、変数である。たとえば、実関数を考えるのならば、変数 x に代入することができるのは実数全体であり、実関数を考えているという大前提のもとで考えれば、この変数 x の定義域はまだ何も制限されていないと考えられる。

今、この変数 x に定数 a を代入する。この場合、代入した結果として、今まで具体的に定まっていなかった関数値 f(x) は f(a) となり、具体的に求まる。
たとえば、この定数 a というのは、「集合 S = {1, 2, 3, 4, 5} の任意の元」というように、範囲が定まっている中での任意の値である。定数といわれると、1 や 2 といった具体的な数であると認識しがちで、「 a は定数だといっているが、いろいろな値をとるので、変数の間違いなのでは？」というように思うかもしれないが、変数 x は実数全体が範囲であり、具体的に何も制限されていないのに対し、定数 a は集合 S の任意の元であり、範囲が具体的に定まっているという意味で定数である。

上記の考え方と対比させ、疑問点を改めて考察してみる。

関数 f を、関数の一種である確率分布 P に、
関数 f(x) の変数 x を、確率変数 X_i に、
定数 a を、情報源アルファベットの任意の元である、定数 x_i に、
定数 a の取りうる範囲を示す集合 S を、情報源アルファベットを示す集合 A に、
それぞれ対応させ考えれば、今までの疑問点が解消される。

つまり、今回の疑問点の原因は
(1)定数、変数の概念をきちんと理解していなかった点
(2)定数 x_i を見たとき、「文字 x であらわされるのは一般に変数であるから、 x_i は定数ではなく、変数である」と考えてしまった点
の、以上２点がおもな要因であると考えられる。

【定数（ていすう）】
定数とは、値が固定されて変化しない数のことである。固定されていると言っても、必ずしもその値が具体的に特定されている必要はなく、特定の値をとることが決まっているというのが定数の特徴である。すなわち、「未知の定数」あるいは「任意定数」という概念が存在しうるのであるが、これは変数とは異なる概念であることに注意されたい。変数には、ある範囲を任意に動かすことのみが想定されており、値が定められているわけではないのである。（Wikipediaより抜粋）
＊＊＊＊＊＊＊＊＊＊

こういうことでしょうか？
自分的にはとても納得しているのですが、このような認識であっていますか？
回答いただけるととても嬉しいです。
よろしくお願いいたします。

回答No.3

moumougoo

確率変数がX_i, 任意の値がx_i
確率変数X_iがx_iをとる確率は
∫dx_0...dxi-1dx_i+1...dx_n-1P(x_0,... ,x_n-1)
てな具合で確率変数X_iは値の概念とその確率という概念が合わさったものでは？
任意の値に対する確率は考えられるが確率変数の確率というのはちょっと変なので
分けて書いているのだとおもいます。

お礼

すみません、よくわかりませんでした。

回答ありがとうございました。

回答No.2

Tacosan

#1 の通りだけど, もっと噛み砕いていうと X_i は変数の名前で x_i が実際の値.

お礼

噛み砕いた説明をしていただき、どうもありがとうございました。

#1さんの回答を読んでの自分の解釈の仕方があっているかどうかを考察する、良い判断材料となりました。

補足

「X_i は変数で、x_iは情報源アルファベットの任意の元であり、実は定数」ということでしょうか？