モデルの違いによる最小２乗解

質問

ある観測値Yiをaix1+biｚ+eiというモデルを用いて連立方程式をたて、eの２乗を最小にする未知数
ｘ１、ｚを特異値分解法を用いて（ｘ１、ｚ）＝（０，１０）と言う解を得たとします。
ここでiは観測数、ai,biは既知の係数、eiは正規分布に従う誤差とします。

つぎに、同じ観測値Yiをa1ix1_a2ix2+biz+eiというモデルを用いて同じように未知数ｘ１、ｘ２、ｚを求めたとき、つまりひとつ未知数を増やした場合、その解は（ｘ１、ｘ２、ｚ）＝（０，０，１０）とはなりませんでした。ここで、a1i, a2i,biは既知の係数、iは３以上、biは前のモデルと同じ係数。

感覚的にそうならないだろうと思いますが、なぜそうならないのか、うまく説明できません。お力をお借りできれば幸いです。

よろしくお願いいたします。

回答No.1

ramayana · ベストアンサー

２点確認します。

[1]　　２番目のモデルは、 a1ix1+a2ix2+biz+ei の意味か？

[2]　　１番目のモデルに現れる ai は、２番目のモデルに現れる a1i　と同じか？

以下、 [1] と [2] を前提とします。

また、次の [3] 、 [4] の記号を使います。

[3]　　１番目のモデルで推計される x1、z、ei と、２番目のモデルで推計されるx1、z、ei は、違うものなので、２番目のモデルの推計値は、すべて「 ' 」を付けて表示する。すると、２番目のモデルは、次のようになる。

　　Yi = a1ix1'+a2ix2'+biz'+ei'

[4]　　添字が煩わしいので、 Yi、a1i、a2i、bi、ei、ei' をそれぞれ縦に並べた列ベクトルを、それぞれれ、 Y、A1、A2、B、E、E' と記す。

すると、２つのモデルは、次のように表されます。

[5]　　Y = x1A1 + zB + E
[6]　　Y = x1'A1 + x2'A2 + z'B + E'

ここで、 Y、A1、A2、B が既知の値で、x1、z、E、x1'、x2'、z'、E' が推計される値です。最小二乗法では、次のようにパラメータが推計されます。

[7]　　 x1 と z は、A1 と E が直交し、B と E が直交するように、決定される。

[8]　　 x1'、x2'、z' は、A1 と E' が直交し、A2 と E' が直交し、B と E' が直交するように、決定される。

ご質問は、 x1 = x1' 、 z = z' にならないのが何故か、ということだと思います。以下が回答になります。

**********

直感的に言えば、次のようになる。 A1 の変動には、 A2 の変動と相関を持って動いている部分がある。よって、 [5] の x1 には、実はA2 の変動によって引き起こされる部分が含まれる。同様に、 B の変動には、 A2 の変動と相関を持って動いている部分がある。よって、 [5] の z には、A2 の変動によって引き起こされる部分が含まれる。 [6] の x1' と z' は、これらの部分が吸い取られた後なので、x1やz と異なる。

数式では、次のように表される（ ux2' と vx2' が吸い取られる部分）。

[9]　　 x1 = x1' + ux2'
[10]　　z = z' + vx2'
[11]　　E = x'2F + E

ただし、u、v、F は、次のモデルを最小二乗法で推計した結果である。

[12]　　A2 = uA1 + vB + F　　（ F は残差項）

なお、 [9]、[10]、[11] は、[7]、[8] を使って簡単に証明できる。以上の議論で、残差が正規分布に従うことは、使われない。