マルコフ過程の時間平均？

質問

「マルコフ過程の時間平均は、固有値=1の 固有ベクトルと一致する」
と言ってしまってよいのでしょうか？

マルコフ過程を勉強する必要が出てきたのですが、
とりあえず、

　　x(t+1) = x(t) P (x は確率ベクトル、Pは行列)

で、

　　定常分布が存在したら、その確率ベクトルは、
　　固有値が１のときの固有ベクトルになる

というのは、理解できました。
ところで、２つ質問があります。

(1) この定常分布にx(t)が収束するかどうか、は
　　何か知る方法があるのでしょうか？

また、（特にこちらが知りたいのですが）
収束しない場合でも

(2) x(0), X(1), ..., x(∞) と無限の時間の平均は、
　　この固有ベクトルに一致する、と言っていいのでしょうか？

　（シミュレーションをしていると、なんとなくそんな
　　感じがするのですが・・）

よろしくおねがいします。

回答No.1

Umada

以下の説明は既にwhite-tigerさんがご存じの部分と重なることもあるかと思いますが、その節はご容赦ください。

まず一般的な見地から、行列A、固有値λ、固有ベクトルxの意味を考えてみます。
Ax=λx　　(1)
が行列Aについての固有値λ、固有ベクトルxの関係です。

あるベクトルを行列で一次変換したとき、その向きが不変であることは一般には保証されません。
例えば行列B
　1　2
(　　　)
-1　4
で、ベクトルy
　1
(　 )
　3
を変換すると、結果は当然
　7
(　 )
　11
となり、元のベクトルyとは方向が異なります。
ところがベクトルz
　2
(　 )
　1
をBで変換すると、
　4
(　 )
　2
となり元のベクトルzのちょうど2倍になっています。これはベクトルzは固有ベクトルの一つであり、固有値は2ということを意味します。
固有ベクトルとは、行列Aによる一次変換でその方向が不変であり、その大きさが|λ|倍になるような特別なベクトルです。(λが負なら向きは当然逆になります)

ここから本題に入ります。
与えられた遷移確率行列Pの固有ベクトルをe1, e2, e3,..., ekとします。またそれぞれに対応する固有値をλ1, λ2, λ3,....., λkとします。固有値は実数であるとします。
さていま初期値としてベクトルx[0]が与えられたなら、それは固有ベクトルの線形結合として一意に表現できます(固有ベクトルへの分解)。具体的には実数係数a1, a2, a3,..., akを用いて
x[0]= a1 e1 + a2 e2 + a3 e3 +..... ak ek
といった具合です。これを行列Pで変換すると、固有ベクトルの定義から各項は固有値倍され
P x[0]=x[1]= λ1 a1 e1 + λ2 a2 e2 + λ3 a3 e3 +..... λk ak ek
となります。さらに続ければ
x[2]= λ1^2 a1 e1 + λ2^2 a2 e2 + λ3^2 a3 e3 +..... λk^2 ak ek
....
x[n]= λ1^n a1 e1 + λ2^n a2 e2 + λ3^n a3 e3 +..... λk^n ak ek
となることはお分かり頂けるかと思います。^はべき乗を表します。
もし固有値λ1～λkの中に絶対値が1を超えるものが一つでもあれば、それに対応する項はlim x[n] (n→∞)で発散します。
絶対値が1に満たない固有値に対応する固有ベクトルの項は、n→∞で0になります。
固有値が-1の場合は、それに対応する項はn→∞で振動します。
固有値が1の場合だけ、それに対応する項は最初から最後まで不変です。

となると(1)に対する答えは「行列Pで、絶対値が1を超える固有値のないこと」かつ「固有値の一つが1であること」になると思います。これならば収束しますし、その時の極限値が「固有値=1に対応する固有ベクトル」になることも自明です。
一般に固有ベクトルは大きさについてだけ不定性がありますが、今回の場合は確率のお話ですから「ベクトルの各成分の和は1になる」はずで一意に決まると考えてよいと思います。すなわち「固有値=1に対応する固有ベクトルで、各成分の和が1になるものに収束」ということになりそうです。

(2)の無限時間の間の平均ですが、
x[0]= a1 e1 + a2 e2 + a3 e3 +..... ak ek
x[1]= λ1 a1 e1 + λ2 a2 e2 + λ3 a3 e3 +..... λk ak ek
x[2]= λ1^2 a1 e1 + λ2^2 a2 e2 + λ3^2 a3 e3 +..... λk^2 ak ek
....
x[n]= λ1^n a1 e1 + λ2^n a2 e2 + λ3^n a3 e3 +..... λk^n ak ek
を項ごとに縦に足し合わせれば明らかかと思います。収束する場合には無限時間の間の平均は固有値=1に対応する固有ベクトルに一致します。
収束しない場合ですが
(a)絶対値が1を超える固有値があって収束しない場合:　平均も発散する(固有値=1の固有ベクトルには一致しない)
(b)絶対値が1を超える固有値はないが、固有値の一つに-1があって収束しない(振動する)場合:　平均であれば収束し、無限時間の間の平均は固有値=1に対応する固有ベクトルと一致する
でよいと思います。
(b)については必要もないと思いますが念のため説明しておくと、例えば固有値=-1に対応する固有ベクトルがem、x[0]でのその係数がamであるとすると、x[0]～x[n]までその項を足し合わせた時の合計は am emか 0×em(零ベクトル)のどちらかになります(nの偶奇による)。(n+1)で割って平均にし、さらにn→∞の極限をとればどのみちゼロです。ですから固有値=-1に対応する項は平均では消え、固有値=1に対応する項だけが生き残り平均はそれに対応する固有ベクトルに一致します。

固有値に重根があったりするとややこしいのですが、とりあえず大筋だけ回答申し上げました。自信はあまりありませんので、white-tigerさんご自身でも確認しながら読んで頂けると幸いです。

お礼

分かりやすいご説明をありがとうございます。
お話をまとめると、

(1) 収束するのは以下のケース

　・固有値の中に「１」が存在する

　かつ

　・それ以外の固有値は絶対値が１より小さい

(2) 時間平均は、１を超える固有値がない場合は、固有値１のベクトルに収束、と言える。

ということ、でいいでしょうか。

補足

すみません。下にお礼を書いていながら、自分でもよく分からなくなってきたのですが、一般に、

マルコフ過程の行列Ｐで：

(1)固有値が負になったり
(2)固有値が１より大きくなったり

する可能性はあるのでしょうか？

もしそうなら、対応する固有ベクトルを確率分布の初期条件に取ると、負の確率が現れたり、足して１を超える確率が現れてしまったりするような気がします。

あるいは、マルコフ過程の行列Ｐは固有値が[0,1]になる、といえるのでしょうか？
ちょっと頭が混乱してきました。。。