残差*従属変数の総和、最小二乗法（重回帰）にて

質問

最小二乗法（重回帰）にて、
個別残差＝個別予測値ー個別従属変数であり、
Σ(個別残差×個別従属変数）＝０…(1)
になるのです。
（回帰の平方和＋残差の平方和）＝全体の平方和
という定義（?）を疑問に思い、
解いていくと、上記(1)にたどり着きました。
なんとなくなりそうな気もするんですが、
どなたかすっきりと理由を教えては頂けないでしょうか。

回答No.2

age_momo · ベストアンサー

混乱されているようですが、

>yi=従属変数,Yi=yiの予測値,Y=Yの平均値(Yのつもり) とおきます。
>・
>・
>・
>∴Σ{Yi(Yi-yi)}=0…(1)

Yiはyiの予測値なんですから、(1)式は
Σ予測値×個別残差=0　
を示し、同じ結論にたどり着いておられますよね。

お礼

わーっと
ほんとだ。
一回目に書いて下さった
Σ(x_i×個別残)=0
が結論になっております。
Y→yと思い込んでしまってて、
しかもシミュレーション結果のΣ(実測測値×個別残差)
が、偶然0になったもので、混乱していたようです。
やはり、学生の頃は議論があったのですが、
仕事上、一人で黙々とやっていくと、
こういう単純なことで大きなロスになりますね。
本当に有難うございます。

回答No.1

age_momo

回帰の考え方は共通ですのでY=aX+bにおける計算を書いておきます。ご自分で重回帰に変換して考えてみてください。（重回帰だと表記、特にここでのテキスト表記が長く煩雑になりますので）
後、通常、回帰では残渣=実測値(従属変数)-予測値(aX+b)と表記しますし、Σ残渣×予測値=0ですので予測値と従属変数の表記が逆転していると思います。

(x_1,y_1),(x_2,y_2)・・・(x_n,y_n)のデータからY=ax+bに回帰するとき
Σ{y_i-(ax_i+b)}^2は実測値x_i,y_iはすでに定数であるのでa,bの関数と考えることができる。
Q(a,b)=Σ{y_i-(ax_i+b)}^2
Q(a,b)が最低値を取る⇔a,bそれぞれで偏微分したときに0になる
∂Q/∂a=-2Σx_i×{y_i-(ax_i+b)}=0　・・・　Sxy-aSx^2-bSx=0
∂Q/∂b=-2Σ{y_i-(ax_i+b)}=0 ・・・Sy-aSx-bn=0
として連立方程式でa,bを定めます
y_i-(ax_i+b)は個別残渣そのものですので上の式を書き換えると
Σx_i×個別残渣=0
Σ個別残渣=0
であり、その定数倍の和である予測値×個別残渣の総和も0になります
Σ予測値(ax_i+b)×個別残渣=0

補足

返信ありがとうございます。
簡単に表記してしまいましたが、これは表記ミスではございません。
上記考えに至った経緯を下に記します。
何か、おかしな点があれば、ご教示いただけたらと存じます。
　　　　　　　　　　　　　　　　　　　 _
yi=従属変数,Yi=yiの予測値,Y=Yの平均値(Yのつもり) とおきます。
回帰の平方和 Sr=Σ(Yi-Y )^2
残差の平方和 Se=Σ(yi-Yi)^2
全体の平方和 St=Σ(yi-Y )^2
決定係数は、R^2=Sr/St=1-(Se/St) …(1)

そして、納得のいかなかった以下の式を展開することにしたのです。
(1)よりSr=St-Se
上記式を展開して、
Σ(Yi^2-2Yi*Y+Y^2)=Σ(yi^2-2yi*Y+Y^2-yi^2+2yi*Yi-Yi^2)
∴Σ(2Yi^2-2Yi*Y+2yi*Y-2yi*Yi)=0
∴YΣ(yi-Yi)+Σ{Yi(Yi-yi)}=0
　~~~~~~~~~~
ここで、Σ(yi-Yi)=0…(残差の総和)
∴Σ{Yi(Yi-yi)}=0…(1)

(1)式はΣ(個別残差×個別従属変数）＝０を表しているのでは無いでしょうか。