二つの確率ベクトルの共分散行列

質問

n次元確率ベクトルXについての分散共分散行列 Cov(Xi, Xj)の説明は多くの教科書にあり理解しているのですが，p次元確率ベクトルPとq次元確率ベクトルQについての共分散行列 Cov(Pi, Qj) が何の指標になっているのかがわかりません．行列の各成分は何を表しているのでしょうか．直感的・幾何学的なイメージがつかめないのですが．．．

回答No.4

stomachman · ベストアンサー

No.1に対するコメントでは

> Cov(Xi, Xj)は，直感的には２変数の相関関係の指標であり，幾何学的には分布上での直線回帰の程度をあらわしていると考えられます

と仰っていて、No.2に対するコメントに

> どのような場面で必要とされる指標なのか，どうにもイメージがつかめないのですが．．．

とある。ひょっとして、「イメージ」ってのは図形的イメージじゃなくて、用途のことでしょうか。そして、Cov(X,X)なら分かるけれど、Cov(P,Q)の用途が分からない、ということでしょうか。

　確率変数のベクトルP, Qがあるとき、ベクトルXを、PとQを繋いでできる(p+q)次元のベクトルとします。そしてCov(X,X)を考えます。すると、Cov(P,Q)も、Cov(X,X)の一部として含まれています。Cov(X,X)の行列の左下隅、および右上隅を占めているわけです。

　で、Cov(P,Q)の部分だけを取り出して考えるのはどういう意味があるか、というのがご質問の真意ではないか、と考えました。もしそうだとすると…

　共分散は、二つの確率変数Pi, Qjの間の相関を表しますが、これは両者が無関係ではないという現象を言っているだけであって、どちらが原因でどちらが結果か、あるいは両方とも何か共通の原因で変動するのか、ということは分かりません。
　しかし、アプリオリに原因と結果が想定できている場合もあります。Pが原因となるものを集めたベクトル、Qが結果を集めたベクトルとすると、因果関係の強さを調べたければCov(P,Q)だけ見れば良い、と考えられます。もっと具体的に言うと、例えば
● PはP1 = 昨年の開発費、P2 = 昨年の宣伝費、…など、先行する施策。
● QはQ1 =今年の売り上げ、Q2 = 今年の利益、…など、後から生じる成績。
という場合です。
　ただし、Cov(P,P)の部分の相関が強い場合（P1が小さいときにはP2が大きい、などの関係が強いとき）には、どれが主要な原因、ということがはっきりしなくなってしまいますから、それを知るにはもっと他の分析手法が必要になります。

　ところで、相関関係と因果関係は混同されやすいもので、「兎を追いかけているとき以外に犬を見たことのない者が、兎は犬の原因だと断じるような」（by アンブローズ・ビアス「悪魔の辞典」）誤りが現実にしばしば目につきます。いやそれどころか、統計で人を騙すのにもっともよく使われるトリックである、とすら言えます。

お礼

御回答いただきありがとうございます．PikとQjk (k=1...m) が同時に測定された値であるならば，一般的にはそれらは，XikとX_{(p+j)k}と表記されて，n(=p+q)次元のひとつの確率ベクトルXとして扱われるものと思われます．しかし，ここでXを，あえて，PとQに分けて扱い，Cov(Xi, Xj)の一部を抜き出したものがCov(Pi,Qj)と考えればいいわけですね．

これが有用な場合というのは，「Cov(P,Q)には特別な興味があるが，Cov(P,P)やCov(Q,Q)にはまったく興味がない」という場合ということになるかと思います．例えば，「X_{1～p}はそれぞれがある同一の確率関数に従う確率変数で，X_{p+1～n} は，別の確率関数に従っている可能性が高い」といった確率ベクトルの解析であれば，これが有用になる場合もあると納得できます．

そうであるならば，直感的・幾何学的イメージも，Cov(Xi, Xj)の場合とまったく同じように解釈すればよいということになりますね．

だいぶ，理解が進んだように思います．御教授にお礼申し上げます．

回答No.3

stomachman

確率変数は、普通の変数と違って値が定まらない。何かある分布に従うということしか決まっていません。それで、測定すると毎回値が違う、そういうモノなのです。

　次に共分散、すなわち(X-mx)(Y-my)の期待値（ここにmxはXの期待値、myはYの期待値です）。二つの確率変数XとYの共分散は、両者それぞれが従う分布を決めただけでは決まらず、「XとYの同時分布（２次元の分布）」が与えられて初めて定義されます。この２次元の分布が理論的に分かっているときには、これで話はおしまいです。（ですから、確率変数が何であるかワカッテル人向けには以下の話は省略できるわけで、辞典なら当然そうするでしょう。）

　この２次元の分布が未知の場合には、実際に測定したデータに基づいて計算を行うしかありません。回答No.2はこの場合の話をしています。

　そもそも何の為に共分散を計算するかといえば、たとえば「Xが大きい値になった時にはYの値も大きくなる」というような相関関係がどれほどあるかを調べるためです。
　しかし、XもYもどんな分布に従っているかは未知。そこで、何度もXとYの値を測って得たデータを列
<x[1], y[1]>, <x[2], y[2]>, … , <x[m], y[m]>
で表すことにして、これを使って共分散を計算します。
　が、その前に、ヨコ軸をx、縦軸をyにして<x[k],y[k]> (k=1,2,…,m)をプロットしたグラフが「散布図」です。<x[k], y[k]>がペアになるのは、これらが「同時に測ったデータ」であるということを表しています。

　Xの期待値mxはx[k](k=1,2,…,m)の平均値axで代用し、myもy[k]の平均値ayで代用します。そして、
　「(X-mx)(Y-my)の期待値」は(x[i]-ax)(y[i]-ay)の平均値
で代用します。これが実際にデータを使って行う共分散の計算です。

　ところで、ご質問にあるPは確率変数がp個並んで出来ているベクトルです。その中のひとつの要素、つまり確率変数Piを取り出してみると、m個のデータが対応している。Qも確率変数q個からなるベクトルで、その中の一つの要素Qjを取り出してみると、m個のデータが対応している。ですから、PiとQjの共分散Cov(Pi,Qi)を計算するには、上記の式でXをPiに、YをQjに置き換えるだけのことです。で、ご質問はまさしくこの共分散Cov(Pi,Qi)の話ですね。
　さて、この計算をi=1,2,…,pおよびj=1,2,…,qの全部の組み合わせについて行ったものが共分散行列Cov(P,Q)です。共分散自体はあくまでも２個の確率変数の間の関係だけを扱います。それを並べた行列が共分散行列。別物です。

　一方、イメージなさっているのはおそらく「多次元の散布図」のようなものではないでしょうか。その散布図に散らばっている各点は、沢山の確率変数Si (i=1,2,…,n)について「同時に測定した値」＜s1[k], s2[k],…,sn[k]>です。そういう点がk=1,2,…,mのm個ある。これは因子分析（のような多変量解析）におけるデータの捉え方です。このとき、共分散の代わりの役目を果たすのが共分散行列Cov(R,R)です。

　また、共分散行列Cov(P,Q)においてp=1, q=1の場合を考えれば、共分散が共分散行列の特別な場合になっている、とも言えることがお分かりになるでしょう。

　お急ぎとのことですから長々と書きましたが、教科書は幾らでもあります。

お礼

御回答いただきありがとうございます．No.4にてお礼を述べさせていただきます．

回答No.2

stomachman

「n次元確率ベクトルX」は、n個の確率変数を並べてできているベクトルのことです。だからXiとXjは別の確率変数である。そして、両者の共分散Cov(Xi, Xj)が計算できます。「直感的には２変数の相関関係の指標であり，幾何学的には分布上での直線回帰の程度をあらわしていると考えられます」と仰る通りです。

　全く同様に、PiとQjは別の確率変数である。そして、両者の共分散Cov(Pi, Qj)が計算できます。それを(i,j)要素とする行列が共分散行列。
Cov(Pi, Qj)もやはり「直感的には２変数の相関関係の指標であり，幾何学的には分布上での直線回帰の程度をあらわしていると考えられます」と仰る通りです。Xの話と何の違いもありません。

　また別の方面から説明してみましょう。

　実際の計算では、Piとして、たとえばm回サイコロを振って出た目を(1,6,3,5,…,3)てな風に記録してデータをとったとします。１個の確率変数がこのデータの列と対応している訳です。つまり、Pikをデータの数値として、
Pi = (Pi1, Pi2, …, Pim)
という感じになります。
　Cov(Pi, Qj)を計算するには　データ(Pi1, Pi2, …, Pim)と別のデータ(Qj1, Qj2, …, Qjm)を使う。このとき、両者のデータの個数mが一致していないと具合が悪い。ですが、ベクトルPとQが含む確率変数の個数p, qが一致しているかどうかはまるで関係ありません。

　mとp,qとを混同なさってるんじゃないか、と思う訳です。

お礼

ご回答いただきありがとうございます．質問のCov(Pi, Qi)は，「竹内啓：統計学辞典，東洋経済 (1989)」のp.1004r に数行でさらっと記述されているものです（辞典中の表記ではCov(X,Y)）．辞典中には，御説明いただいたサイコロの例のmに該当するものについては何も説明がありません．どのような場面で必要とされる指標なのか，どうにもイメージがつかめないのですが．．．

回答No.1

F_P_E

はじめまして。

確率行列なるものを私は初めて耳にしましたが。。。それに私も確率行列の要素が何を示しているのかよくつかめません。しかし、恐らく確率行列の要素は確率変数であるのだろうと推測はしていますが・・・。

こんな状態ですが、回答したいと思います。

＞p次元確率ベクトルPとq次元確率ベクトルQについての共分散行列 Cov(Pi, Qj) が何の指標に

とありますが、所詮はCorrelationです。PiとQjがどの程度の”関係”があるかを示しているのだと思います。

直感的なイメージと挙げるには、やはり確率行列の要素が何であるか、何を示しているのかがわからないと何も言えません。。。

あまりお役に立てずに申し訳ないです。

お礼

ご回答いただきありがとうございます．Cov(Xi, Xj)は，直感的には２変数の相関関係の指標であり，幾何学的には分布上での直線回帰の程度をあらわしていると考えられます．しかし，Cov(Pi, Qj)についてはうまくイメージできませんでした．もう少し専門書をあたってみます．