最小二乗法の分散の求め方

質問

http://oshiete1.goo.ne.jp/qa3077638.htmlに関連しての質問です。
例えば、ｙ＝Ｘβ+εに関して最小二乗解を求めると
b = [ nΣ(xi yi) - (Σxi) (Σyi)]/[ nΣ(xi^2) - (Σxi)^2 ]
となります。ここから分散を求めるためにはどうすればよいのでしょうか？教科書を引っ張ってみると求め方の行列の式しか書いていなくいまいちピンときません（確かに計算すれば正しい結果を得られるようですが）。具体的にこの式だけを使って分散を求めるということはできないのですか？

回答No.1

sanori

最小二乗法というものの本質は、

「傾きが４５°または－４５°の直線に規格化する」

ということです。

回帰直線は、全てのデータの重心を通ります。
その重心を中心として、回帰直線が回転して、傾きが前後に変わることをイメージしてください。

傾きのばらつきとは、つまり、重心を中心とした回帰直線の角度（回転量、傾き）のばらつきです。
要は、４５度±？度、あるいは、－４５度±？度　ということです。

こういった、「傾きのばらつき」を表す、よく知られた指標があります。
それは、「相関係数」です。
相関係数が１（４５度に相当）あるいは－１（－４５度に相当）に近いほど、
「傾きのばらつき」が小さい、ということになります。

エクセルなどの表計算ソフトでは、相関係数を求める関数が必ず入っています。

http://ja.wikipedia.org/wiki/%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0