共分散行列の固有値・固有ベクトルの行列

質問

以下のようなデータを用いて、共分散行列を生成するとします。
(各No.にはそれぞれx1~x5の5つのデータ)
x1 x2 x3 x4 x5
No.1 [2 4 5 2 1]
No.2 [3 10 8 7 9]
No.3 [11 3 2 1 6]

すると、共分散行列は3×3の正方行列になり、その固有値も3つ求まりますよね。
しかし、固有ベクトルに関してはデータがx1,x2,..,x5と5次元で考えているので、
ひとつの固有値に対して5つの成分を持つ固有ベクトルが求まりますよね。
よって、共分散行列の固有値行列は必ず正方行列になりますが、固有ベクトルの
行列は上の例の場合なら5×3行列（列は対応する固有値の数、行はベクトルの成分の数）となり、
必ずしも正方行列にはなりませんよね？そのあたりを教えて頂きたいと思います。
よろしくお願いします。

回答No.2

FT56F001 · ベストアンサー

共分散行列のik成分をA_ikと書くと，
A_ik=(1/N)Σ[j=1 to N](xij-μi)(xkj-μk)
となります。Nはデータ件数，xijはj件目のデータにおける第i変数の値，
jはデータ件数を走る添え字，
i,kは変数次元を走る添え字で，μkは第k変数の平均値
を表します。
(例で言うと，Nは生徒の人数，jは出席番号，μ1は英語の平均点，μ2は国語の平均点etc)

>共分散行列 = E[(x-E[x])(x-E[x])^t] ^tは転置 Eは期待値（平均値）
の表記に合わせると，xは列ベクトルで
2　　　3　　　　11
4　　　10　　　3
5とか，8とか，2
2　　　7　　　　1
1　　　9　　　　6
です。
期待値をとるE{}演算は，データ件数について加えて平均することになります。

期待値の操作を行列でやりたいとすると，

>No.1の行の平均をμ1, No.2の行の平均をμ2, No.3の行の平均をμ3とします。）
>[ 2-μ1 3-μ2 11-μ3 ]
>[ 4-μ1 10-μ2 3-μ3 ]
>[ 5-μ1 8-μ2 2-μ3 ]
>[ 2-μ1 7-μ2 1-μ3 ]
>[ 1-μ1 9-μ2 6-μ3 ]
はすこし違います。平均値は，
データ件数個つくるの(生徒毎の平均)ではなく，
変数次元個つくります(科目毎の平均)。

μ1=(2+3+11)/3　第1科目(英語?)の平均点
μ2=(4+10+3)/3　第2科目(国語?)の平均点
μ3=(5+8+2)/3　第3科目の平均点
μ4=(2+7+1)/3　第4科目の平均点
μ5=(1+9+6)/3　第5科目の平均点
とした上で，
[ 2-μ1 3-μ1 11-μ1 ]
[ 4-μ2 10-μ2 3-μ2 ]
[ 5-μ3 8-μ3 2-μ3 ]
[ 2-μ4 7-μ4 1-μ4 ]
[ 1-μ5 9-μ5 6-μ5 ]
すなわち，縦に科目番号，横に生徒の出席番号で並べた行列をつくり，これを左から
転置した行列を右から掛け算します。
結果として，変数次元×変数次元の正方行列ができ，その各要素はデータ件数分を平均した値です。

お礼

早々のご回答、ありがとうございます。FT56F001さんの説明を読み、
理解が深まりました。ここまで丁寧に親切に回答していただき、
本当にありがとうございました。今夜はぐっすり眠れそうです。

回答No.1

FT56F001

http://okwave.jp/qa/q7074983.htmlの頃から気になっているのですが，
・データ件数
・変数の次元
を混乱していませんか?
共分散行列は，変数次元×変数次元の正方行列で，データ件数とは無関係です。

例で言うと，
「英語，国語，数学，理科，社会の5科目の試験成績を，300人の生徒について集めた。
このデータから，総合学力，理系・文系，言語系・非言語系などの因子に分析せよ」
という問題で，データの件数は300，変数の次元が5です。
質問者さんのケース，変数が5次元もあるのにデータがたった3件では，
意味のある統計的分析はできないでしょう。

補足

質問にご回答頂きありがとうございます。
補足として質問したいことがあります。もしお時間がありましたら、
答えて頂けたら幸いです。

共分散行列の次元数が[変数の次元×変数の次元]であるのですね。
勘違いしていました。すると、仮に与えられたデータが

x1 x2 x3 x4 x5
No.1 [2 4 5 2 1]
No.2 [3 10 8 7 9]
No.3 [11 3 2 1 6]

であるとします。（データ件数が少ないですが、式の説明を簡単にするため、
とりあえず、上のデータでお願いします。）
共分散行列を求める公式を

共分散行列 = E[(x-E[x])(x-E[x])^t] ^tは転置 Eは期待値（平均値）です

すると共分散行列を求める公式の(x-E[x])に当たる部分が上の例ですと、
(No.1の行の平均をμ1, No.2の行の平均をμ2, No.3の行の平均をμ3とします。）

[ 2-μ1 3-μ2 11-μ3 ]
[ 4-μ1 10-μ2 3-μ3 ]
[ 5-μ1 8-μ2 2-μ3 ]
[ 2-μ1 7-μ2 1-μ3 ]
[ 1-μ1 9-μ2 6-μ3 ]

であり、公式の(x-E[x])^t（転置）に当たる部分は上の5×3行列をそのまま転置に
した3×5の形でよいのでしょうか。こうすれば結果的には5×5の正方行列になりますが。

最後に公式から共分散行列の全要素をこの場合ですとデータ件数3で割るということで
よいですか？

（因みに、今までは共分散行列の生成において、上の例の場合(3,5)行列に(5,3)行列を
かけていたので、生成後の共分散行列の次元数が（データ件数）×（データ件数）と
なっていました）