重みつき最小二乗法

質問

Yiに重みWiがあるとき、Y=aXに対して線形回帰を行うと、正規方程式より

a = [WXY]/[WX^2]

となるとおもうのですが、このときaの分散はどうなりますか？

また、Xが正規分布に従うとき、c/Xはどのような分布に従うのでしょうか？やはり正規分布のような気はしているのですが・・・

よろしくおねがいします。

回答No.2

at9_am · ベストアンサー

＃１です。

1) WY = aWX です。
分散不均一の時、この手法を用います。Y=Xb+u というモデルで E[ui^2]≠E[uj]の時、Wi=1/σiを考えればE[Wi ui] = E[Wj uj] となり分散は均一になります。
したがってvi=Wiui、yi=WiXi、xi=WiXiとおけば、yi=a xi + viは一般的な仮定をみたすので最小自乗法が使える、ということになります。これを行列にまとめ、誤差項を省いたものが y = a WX になります。

2) 正しいです。ただし、行列P,Qがあったとして、PQ≠QP ですので、P(Q)^(-1)かQ^(-1)Pか分からなくなるため P/Q とは書きません。

3) すいません。ここのところ、前回ちょっと書き間違えです。加重の所を書き忘れていました。導出は↓です。

a が縦ベクトルだとすれば、元々のモデル（理論モデル）は Y=Xa+u と書けます。
今、uが分散が不均一な誤差項であり v = Wu とおけば E[vv'] = σ^2 I であるとすれば、(WY=)y=WXa+vとすれば通常の最小自乗法が使えます。ここで最小自乗推定値 a~は
a~= (X'WWX)^(-1)X'Wy
= (X'WWX)^(-1)X'W(WXa+v)　←y=WXa+v を代入
= (X'WWX)^(-1)X'WWXa + (X'WWX)^(-1)X'Wv　←括弧内を展開
= a + (X'WWX)^(-1)X'Wv　←(X'WWX)^(-1)X'WWXを約分
なので
var(a~)= E[(a~-a)(a~-a)']
= E[(X'WWX)^(-1) X'W vv' WX(X'WWX)^(-1)]
= (X'WWX)^(-1) X'W E[vv'] WX(X'WWX)^(-1)
= σ^2 (X'WWX)^(-1) X'WWX (X'WWX)^(-1)
= σ^2 (X'WWX)^(-1)
となります。
∴var(a~)= σ^2 (X'WWX)^(-1)

こういうことに詳しい教科書、といえば、例えばGreene "Econometric Analysis"ですとかでしょうか。
私は経済学が専門なので、経済学部でよく用いられている教科書です。和書でもあると思いますが、私は余り詳しくないので...。

回答No.1

at9_am

Yi に重み Wi がある場合、W=diag(Wi) を考えて y=WY とおき、y = a WX というモデルを考えます。ここで diag(Wi) とは対角要素が Wi でその他が０の正方行列です。
すると、正規方程式より最小自乗推定量a~は
a~=(X'WWX)^(-1)・(X'Wy)
となります。
a~の分散は、a~の期待値が a になりますから
var(a~)=E[(a~-a)(a~-a)']=σ^2 (X'X)^(-1)
になります。ここで誤差項の分散σ^2 は、残差ベクトル e=y-y~= y-a~X からの推定値 s^2 = e'e/(n-k) を求めます。ただし、n はデータの数、k は独立変数（説明変数）の数（rank(X)）です。

ここで a がスカラーだとすれば、
a~=Σ(XiWi^2Yi)/Σ(Xi^2 Wi^2)
と書き表すことができます。また分散は ei = yi-a~WiXi として
var(a~)=Σei^2/((n-1)ΣXi^2)
と書き表すことができます。

> Xが正規分布に従うとき、c/Xはどのような分布に従うのでしょうか？

cは定数で、Xは分母に来ているのですよね。この場合、正規分布にはなりません。計算していませんが、分布に名前も付いていない、面倒くさい関数になります。

補足

ごめんなさい、よく理解できません。
一応確認で、Wi=1/σi^2 です。Xiは分散ゼロです。不明点：
1) y = WY = a WX で結局Y=aXになってしまうのでは？Y=aWXでしょうか。
2)確認で、正規方程式は∂(y-aWX)'(y-aWX)/∂a で、計算より、a~ = X'WY/X'WWX　でよいでしょうか。
3)var(a~)=E[(a~-a)(a~-a)'] = σ^2 (X'X)^(-1)がどう導出したか、よくわかりません。
できれば、行列を用いた数理統計学の良書をご存知でしたら教えてください、絶対的に知識不足なようなので。わがままいうようですが、よろしくおねがいします。