同時分布と独立同一分布の解釈はこれでOK?

質問

確率論の用語がいまいちピンと来ないので測度論の言葉で書き換えてます。

σ有限の測度空間(A_i,B_i,P_i)と可測空間(Ω_i,Σ_i) ただし,i=1,2,…,k
に於いて,次のように定義しました。

PがP_1,P_2,…,P_kの同時分布 ⇔ PはP_1,P_2,…,P_kらからなる積測度,

つまり,P(X_1^-1(b_1),X_2^-1(b_2),…,X_k^-1(b_k))=Π_{i=1..k}P_i(X_i^-1(b_i))
が成り立つ(∀b_i∈B_i,Map(A_i,Ω_i)∋X_iはB_i/Σ_i-可測関数).
そして,この時, X_1,X_2,…,X_kらを同時変数(joint distributed random variables)という.

このような解釈で大丈夫でしょうか?

特に,
(A_1,B_1,P_1)=(A_2,B_2,P_2)=…=(A_k,B_k,P_k)且つ
(Ω_1,Σ_1)=(Ω_2,Σ_2)=…=(Ω_k,Σ_k) の時,
Map(A_1,Ω_1)∋X_1,X_2,…,X_kらを独立同一分布変数(independent and identically distributed random variables)といい,
PをX_1,X_2,…,X_kの独立同一分布(independent and identity distribution)といい,

とも解釈いたしましたがこれで大丈夫でしょうか?

回答No.2

ramayana

ANo.1 へのお礼and補足について。

**************
Σ∋s_1,s_2,…,s_nが(事象について)独立⇔P(∩_{i=1}^n s_i)=Π_{i=1}^nP(s_i)が成立
**************
{ } の括り方がちょっと気になりますが、有限個の事象については、おっしゃるとおり

「Σ∋s_1,s_2,…,s_nが独立⇔P(∩_{i=1 to n} s_i)=Π_{i=1 to n}P(s_i)」

で正解だと思います。無限個の事象について、それらが独立とは、その任意の有限部分集合が独立である、という意味です。

**************
「X[1]∈A[1], X[2]∈A[2], ・・・, X[k]∈A[k] が独立のとき、Φは独立であると言います。」ちょっとここがいまいちよく分かりません。
**************
記述を省略しすぎましたかね。1 ≦ i ≦ k なる各 i　について、 A[i] の X[i] による逆像X[i]^(-1)(A[i]) （すなわち、 X[i](w) ∈ A[i] となるような w 全体の集合）は、Σの元ですから、ひとつの可測事象です（X[i]が可測関数だから）。そこで、

「事象 X[1]^(-1)( A[1])、X[2]^(-1)( A[2])、・・・、X[k]^(-1)( A[k]) が独立」

という意味で、上のように記述しました。

（参考　「事象」とは）
「事象」とは、Ωの元に対する条件のことです。条件が与えられれば、その条件を満たす元全体から成るΩの部分集合が得られます。逆も言えます。この関係によって、Ωの部分集合全体と事象全体を同一視できます。この意味で、事象とは、Ωの部分集合のことだとも言えます。上の X[1]∈A[1], X[2]∈A[2], ・・・, X[k]∈A[k] は、事象を条件によって記述したものであり、 X[1]^(-1)( A[1])、X[2]^(-1)( A[2])、・・・、X[k]^(-1)( A[k]) は、同じ事象を部分集合で記述したものです。なお、可測集合（Σの元）に対応する事象のことを「可測事象」といいます。文献によっては、可測事象だけを事象と定義する流儀もあるようです。

**************
『Φ:={X∈Map(Ω,R);Xは可測集合}とする時,Φ⊃{X[1],X[2],…,X[k]}=:Φ'が独立,⇔∀b[1],b[2],…,b[k]∈Brl(R)に対して,P(∩_{i=1..k}X[i]^-1(b[i]))=Π_{i=1..k}PX[i]^-1(b[i])』が確率変数X[1],X[2],…,X[k]が独立の定義
**************
そういうことです。ただ、「Xは可測集合」は「Xは可測関数」の誤植でしょうね。

**************
（確率ベクトルの独立について）
『Φ:={X∈Map(Ω,R^k);Xは可測集合}とする時,Φ⊃{X[1],X[2],…,X[k]}=:Φ'が独立,
⇔∀b[1],b[2],…,b[k]∈Brl(R^k)に対して,P(∩_{i=1..k}X[i]^-1(b[i]))=Π_{i=1..k}PX[i]^-1(b[i])』
**************
各確率ベクトルの次元は、互いに異なっても構いません。たとえば、次のような定義になります：

『n を2 以上の整数とする。k[1]、k[2]、・・・、k[n] をそれぞれ 1 以上の整数とする。Φ':={ X[1],X[2],…,X[n] | X[i]はk[i]次元確率ベクトル}とする時, Φ'が独立⇔∀b[1] ∈Brl(R^k[1]),∀b[2]∈Brl(R^k[2]),・・・, ∀b[n]∈Brl(R^k[n])に対してP(∩_{i=1..n}X[i]^(-1)(b[i]))=Π_{i=1..n}P(X[i]^(-1)(b[i]))』

**************
（ANo.1 の定理２に関し）
X:=(X[1],X[2],…,X[k])^Tを確率ベクトルとすると∀b∈Brl(R)に対して, P(X^-1(b))=Π_{i=1..k}P(X[i]^-1(b))が成立ということなのですね。
**************
P(X[i]^(-1)(b)) というときの b は、すべての i で共通ということではありません。 b が i ごとに変わるという前提で書き直すべきです。

**************
（無限個の事象に対する「独立」概念について）
『Φ:={X∈Map(Ω,R);Xは可測集合}とする時,Φ⊃{X[1],X[2],…}=:Φ'が独立,⇔∀b[1],b[2],…∈Brl(R)に対して,P(∩_{i=1..∞}X[i]^-1(b[i]))=Π_{i=1..∞}PX[i]^-1(b[i])』
**************
その解釈は、間違いだと思います。
無限個の事象が独立だというのは、その任意の有限部分集合が独立だという意味です。無限積は、使いません。

お礼

すっかり遅くなりまして大変申し訳ありません。
ご回答誠に有難うございます。

> ANo.1 へのお礼and補足について。
> **************
>　Σ∋s_1,s_2,…,s_nが(事象について)独立⇔P(∩_{i=1}^n s_i)=Π_{i=1}^nP(s_i)が成立
> **************
> { } の括り方がちょっと気になりますが、

TeXっぽく打ってしまってました。

> 有限個の事象については、おっしゃるとおり

有難うございます。

> 「Σ∋s_1,s_2,…,s_nが独立⇔P(∩_{i=1 to n} s_i)=Π_{i=1 to n}P(s_i)」
> で正解だと思います。無限個の事象について、それらが独立とは、
> その任意の有限部分集合が独立である、という意味です。

了解です。

> **************
> 「X[1]∈A[1], X[2]∈A[2], ・・・, X[k]∈A[k] が独立のとき、Φは独立であると言います。」
> ちょっとここがいまいちよく分かりません。
> **************
> 記述を省略しすぎましたかね。1 ≦ i ≦ k なる各 i　について、 A[i] の X[i] による
> 逆像X[i]^(-1)(A[i])（すなわち、 X[i](w) ∈ A[i] となるような w 全体の集合）は、
> Σの元ですから、ひとつの可測事象です
> （X[i]が可測関数だから）。そこで、

なるほどです。
「(Ω,Σ,P)にてX[i]:Ω→R, k=1,2,…,kがΣ可測関数の時,
Brl(R)∋∀b_iに対して, X[1]^-1(b[1]),X[2]^-1(b[2]),…,X[k]^-1(b[k])が(事象について)独立」
ですね。

> 「事象 X[1]^(-1)( A[1])、X[2]^(-1)( A[2])、・・・、X[k]^(-1)( A[k]) が独立」
> という意味で、上のように記述しました。
> （参考　「事象」とは）
> 「事象」とは、Ωの元に対する条件のことです。条件が与えられれば、その条件を満たす元全体から
> 成るΩの部分集合が得られます。逆も言えます。この関係によって、Ωの部分集合全体と事象全体を
> 同一視できます。

Ωの部分集合⇔Σ可測集合
だからなのですね
(確率論では非可測集合の存在を仮定してないのでこれでOKなのですね)。

> この意味で、事象とは、Ωの部分集合のことだとも言えます。
> 上の X[1]∈A[1], X[2]∈A[2], ・・・, X[k]∈A[k] は、事象を条件によって
> 記述したものであり、

このような記法があったのですね。参考になります。

> X[1]^(-1)( A[1])、X[2]^(-1)( A[2])、・・・、X[k]^(-1)( A[k]) は、
> 同じ事象を部分集合で記述したものです。なお、可測集合（Σの元）に対応する事象のことを「可測
> 事象」といいます。文献によっては、可測事象だけを事象と定義する流儀もあるようです。

納得です。

> **************
> 『Φ:={X∈Map(Ω,R);Xは可測集合}とする時,Φ⊃{X[1],X[2],…,X[k]}=:Φ'が独立,⇔
> ∀b[1],b[2],…,b[k]∈Brl(R)に対して,P(∩_{i=1..k}X[i]^-1(b[i]))=Π_{i=1..k}PX[i]^-1
> (b[i])』が確率変数X[1],X[2],…,X[k]が独立の定義
> **************
> そういうことです。ただ、「Xは可測集合」は「Xは可測関数」の誤植でしょうね。

そうでした。失礼致しました。

> **************
> （確率ベクトルの独立について）
> 『Φ:={X∈Map(Ω,R^k);Xは可測集合}とする時,Φ⊃{X[1],X[2],…,X[k]}=:Φ'が独立,
> ⇔∀b[1],b[2],…,b[k]∈Brl(R^k)に対して,P(∩_{i=1..k}X[i]^-1(b[i]))=Π_{i=1..k}PX[i]^-1(b[i])』
> **************
> 各確率ベクトルの次元は、互いに異なっても構いません。たとえば、次のような定義になります：
> 『n を2 以上の整数とする。k[1]、k[2]、・・・、k[n] をそれぞれ 1 以上の整数とする。
> Φ':={ X[1],X[2],…,X[n] | X[i]はk[i]次元確率ベクトル}とする時, Φ'が独立⇔∀b[1]
> ∈Brl(R^k[1]),∀b[2]∈Brl(R^k[2]),・・・, ∀b[n]∈Brl(R^k[n])に対してP(∩_{i=1..n}
> X[i]^(-1)(b[i]))=Π_{i=1..n}P(X[i]^(-1)(b[i]))』

納得です。

> **************
> （ANo.1 の定理２に関し）
> X:=(X[1],X[2],…,X[k])^Tを確率ベクトルとすると∀b∈Brl(R)に対して, P(X^-1(b))=Π_{i=1..k}
> P(X[i]^-1(b))が成立ということなのですね。
> **************
> P(X[i]^(-1)(b)) というときの b は、すべての i で共通ということではありません。
> b が i ごとに変わるという前提で書き直すべきです。

なるほどです。つまり,
X:=(X[1],…,X[k])とする。X[1],…,X[k]がP上で独立
⇔
∀(b[1],…,b[k])∈Brl(R^k)に対して, P(X^-1(b[1],…,b[k]))=Π_{i=1 to k}PX_i^-1(b[i])
でいいのですね。

> **************
> （無限個の事象に対する「独立」概念について）
> 『Φ:={X∈Map(Ω,R);Xは可測集合}とする時,Φ⊃{X[1],X[2],…}=:Φ'が独立,⇔∀b[1],b[2],…∈Brl(R)に対して,P(∩_{i=1..∞}X[i]^-1(b[i]))=Π_{i=1..∞}PX[i]^-1(b[i])』
> **************
> その解釈は、間違いだと思います。
> 無限個の事象が独立だというのは、その任意の有限部分集合が独立だという意味です。無限積は、使いません。

了解です。
『Φ:={X∈Map(Ω,R);Xは可測集合}とする時,Φ⊃{X[1],X[2],…}=:Φ'が独立,
⇔
∀m∈Nに対し, {i_1,i_2,…,i_m}⊂Nに於いて,
∀b[i_1],b[i_2],…,b[i_m]∈Brl(R)を採ると,P(∩_{j=1..m}X[i_j]^-1(b[i_j]))=Π_{j=1..m}PX[i_j]^-1(b[i_j])』
という事なのですね。

回答No.1

ramayana

意味が分からない記号がご質問に出ていたりするので、的を射ていないかもしれませんが、悪しからず。

「同時変数(joint distributed random variables)」とは、多分、「確率ベクトル（random vector）」のことだと思います。
　また、１つ確認しておくべきは、「同時分布（「結合分布」とも言う）」「独立」「確率ベクトル」といった概念は、いくつもの確率空間を想定しているわけではなく、確率空間を１つだけ定めて、その定められた１つの確率空間の上だけで議論されているということです。

以下、 確率空間 (Ω, Σ, P) の上での議論とします。 k を 1 以上の整数とします。R を実数全体の集合とします。 R^k を、 k 個の実数を並べたもの全体の集合とします。 R 及び R^k は、Borel 測度による測度空間とみなします。

（確率ベクトル）
「k 次元確率ベクトル」とは、 k 個の確率変数を並べたものです。これは、 X = (X[1], X[2], ・・・, X[k]) と表すことができます。ここで、各X[i] は、確率変数、すなわち、Ωから R への可測関数です（以下[ ] で添字を表すことにする）。

確率ベクトルについて、次の定理が知られています。

定理１　確率ベクトルは、Ωから R^k への可測関数である。

（結合分布）
X = (X[1], X[2], ・・・, X[k]) をk 次元確率ベクトルとします。R^k の任意の Borel 集合 A に対して、X^(-1)(A)∈Σ です（定理１より）。よって、Q(A) = P(X^(-1)(A)) としてBorel集合族からの実数値関数 Q を定義できます。Q は、R^k の確率分布になります。 k が 2 以上のとき、この Q のことを、X[1], X[2], ・・・, X[k] の「結合分布」あるいは「同時分布」といいます。 k = 1 のときは、この Q を単に X[1] の「分布」と言います。

（独立）
「独立」という概念は、「事象についての独立」「確率変数についての独立」「確率ベクトルについての独立」といった場面で使われます。

事象について、独立の意味はご存知と思います。

確率変数について、独立とは、次の意味です。Φを、(Ω, Σ, P) からの確率変数から成る有限集合又は無限集合とします。Φの任意の有限集合 X[1], X[2], ・・・, X[k] と R の任意の Borel 集合 A[1], A[2], ・・・, A[k] に対して、 k 個の事象 X[1]∈A[1], X[2]∈A[2], ・・・, X[k]∈A[k] が独立のとき、Φは独立であると言います。

確率ベクトルについての独立は、確率変数の場合と同様に定義できますが、省略します。

（独立と直積の関係）
確率変数についての独立と、分布の直積に関して、次の定理が知られています。

定理２　確率変数 X[1], X[2], ・・・, X[k] について、次の (1) と (2) は同値である。

(1) 　X[1], X[2], ・・・, X[k] が独立である。
(2)　　X[1], X[2], ・・・, X[k] の結合分布は、X[1], X[2], ・・・, X[k] それぞれの分布の直積分布である。

（i.i.d. について）
i.i.d.(independent identically distributed variables) は、有限個又は可算無限個の確率変数について使われることが多いようです。

確率変数の列 X[1], X[2], ・・・ が i.i.d. であるとは、 「X[1], X[2], ・・・ が独立であること」「X[1], X[2], ・・・ の分布が同一であること」の２つの条件を満たすことを意味します。

お礼

どうも有難うございます。遅くなりまして大変申し訳ありません。

> 意味が分からない記号がご質問に出ていたりするので、的を射ていないかもしれませんが、悪しからず。

これは失礼いたしました。

Map(A_i,Ω_i)
はA_iからΩ_iへの写像全体の集合です。

"X_iはB_i/Σ_i-可測関数"とは,
"X_iは∀s∈Σ_iに対して,X_i^-1(s)∈B_iなるA_iからΩ_iへの写像"という意味です。

b_i∈B_i
はb_iはσ集合体B_iの元,つまり可測集合という意味です。

(A_1,B_1,P_1)=(A_2,B_2,P_2)=…=(A_k,B_k,P_k)
は各測度空間が等しいという意味です。

(Ω_1,Σ_1)=(Ω_2,Σ_2)=…=(Ω_k,Σ_k)
は各可測空間が等しいという意味です。

>「同時変数(joint distributed random variables)」とは、
> 多分、「確率ベクトル（random vector）」のことだと思います。
:
> き、この Q のことを、X[1], X[2], ・・・, X[k] の「結合分布」あるいは
> 「同時分布」といいます。 k = 1 のときは、この Q を単に X[1] の「分布」と言います。

有難うございます。大変参考になります。

>（独立）
>「独立」という概念は、「事象についての独立」「確率変数についての独立」
> 「確率ベクトルについての独立」といった場面で使われます。
> 事象について、独立の意味はご存知と思います。

これの定義は
「Σ∋s_1,s_2,…,s_nが(事象について)独立
⇔
P(∩_{i=1}^n s_i)=Π_{i=1}^nP(s_i)が成立」
ですね。

https://proofwiki.org/wiki/Definition:Independent_Events

> 確率変数について、独立とは、次の意味です。Φを、(Ω, Σ, P) からの確率変数から
> 成る有限集合又は無限集合とします。Φの任意の有限集合 X[1], X[2], ・・・, X[k]
> と R の任意の Borel 集合 A[1], A[2], ・・・, A[k] に対して、 k 個の事象
> X[1]∈A[1], X[2]∈A[2], ・・・, X[k]∈A[k] が独立のとき、Φは独立であると言います。

ちょっとここがいまいちよく分かりません。

X[1],X[2],…,X[k]はΩからRへの可測関数ですよね。
X[1]∈A[1]とは
Ωの各元aに対するX[1]の像X[1](a)がA[1]に含まれるという意味でしょうか?
つまり,がX[1](Ω)⊂A[1]でしょうか?

「X[1],X[2],…,X[k]が独立
⇔
X[1](Ω),X[2](Ω),…,X[k](Ω)が独立
(つまり,{1,2,…,k}∋∀i,j, i≠jに対して,X[i]∩X[j]=φ)」

という解釈で正解でしょうか?

補足

下記お礼の続きです。

漸く分かりかけてきました。

『Φ:={X∈Map(Ω,R);Xは可測集合}とする時,
Φ⊃{X[1],X[2],…,X[k]}=:Φ'が独立,
⇔
∀b[1],b[2],…,b[k]∈Brl(R)に対して,
P(∩_{i=1..k}X[i]^-1(b[i]))=Π_{i=1..k}PX[i]^-1(b[i])』

が確率変数X[1],X[2],…,X[k]が独立の定義なのですね(ただし,Brl(R)は1次元ボレル集合体を表す)。

それから"直積分布"という言葉は今まで聞いた事が無かったのでいくつかのサイトを調べていましたら
(直積分布とは積測度の事なのですね)

> 確率ベクトルについての独立は、確率変数の場合と
> 同様に定義できますが、省略します。

これについては

『Φ:={X∈Map(Ω,R^k);Xは可測集合}とする時,
Φ⊃{X[1],X[2],…,X[k]}=:Φ'が独立,
⇔
∀b[1],b[2],…,b[k]∈Brl(R^k)に対して,
P(∩_{i=1..k}X[i]^-1(b[i]))=Π_{i=1..k}PX[i]^-1(b[i])』

という風に書けるのですね(ただし,Brl(R^k)はk次元ボレル集合体を表す)。

> 定理２　確率変数 X[1], X[2], ・・・, X[k] について
> 、次の (1) と (2) は同値である。
> (1) 　X[1], X[2], ・・・, X[k] が独立である。
(2)　　X[1], X[2], ・・・, X[k] の結合分布は、
> X[1], X[2], ・・・, X[k] それぞれの分布の直積分布である。

これは
X:=(X[1],X[2],…,X[k])^Tを確率ベクトルとすると
∀b∈Brl(R)に対して, P(X^-1(b))=Π_{i=1..k}P(X[i]^-1(b))が成立.
ということなのですね。
つまり,PX^-1はPX[1]^-1,PX[2]^-1,…,PX[k]^-1の直積測度になっているという主張なのですね。

>（i.i.d. について）
> i.i.d.(independent identically distributed variables) は、
> 有限個又は可算無限個の確率変数について使われることが多いようです。
> 確率変数の列 X[1], X[2], ・・・ が i.i.d. であるとは、
>「X[1], X[2], ・・・ が独立であること」「X[1], X[2], ・・・ の分布が
> 同一であること」の２つの条件を満たすことを意味します。

無限集合の場合の"X[1],X[2],…が独立"の定義は

『Φ:={X∈Map(Ω,R);Xは可測集合}とする時,
Φ⊃{X[1],X[2],…}=:Φ'が独立,
⇔
∀b[1],b[2],…∈Brl(R)に対して,
P(∩_{i=1..∞}X[i]^-1(b[i]))=Π_{i=1..∞}PX[i]^-1(b[i])』

という風に無限級数で定義されるのでしょうか?