最小二乗法は、なぜ「二乗」なのでしょうか？

質問

最小二乗法は、なぜ「二乗」なのでしょうか？

多くの参考書には
「残差をそのまま足し合わせると
正負が打ち消しあってしまうため、二乗する。」
と書かれているのですが、
それでは４乗や６乗ではいけないのでしょうか？

個人的には、統計の正規分布と
何か関わりがあるのかと思っているのですが・・・。

それとも、ただ単に
「２乗が一番計算しやすいから」という事なのでしょうか？

回答No.5

agthree · ベストアンサー

残差の４乗で比較すると、４乗で効いてくるために残差の大きいものにひきずられてしまいます。
例えば測定値がほぼ理論曲線通りで１点だけ異常値が出て残差が大きくなってしまったような場合、測定値から理論曲線を求めることを考えると、残差の２乗を使うよりも残差の４乗を使う方が異常値にひきずられて本来の理論曲線から外れてしまいます。６乗ではなお顕著ですね。
残差の絶対値を使えばよいのですが、前の方のご指摘のように計算が大変なので、２乗を使っているのだと思います。

回答No.6

eatern27

http://ja.wikipedia.org/wiki/%E3%82%AC%E3%82%A6%E3%82%B9%EF%BC%9D%E3%83%9E%E3%83%AB%E3%82%B3%E3%83%95%E3%81%AE%E5%AE%9A%E7%90%86

という事が背景にはあるんだ、という事を知りたいのでしょうかね。

要するに、いくつかの仮定の元では、最小２乗法による推定値が「もっともよい」推定値となるという事です。

回答No.4

noname#210617

誤差が最小になるように近似するわけですよね。
でも、
＞残差をそのまま足し合わせると
＞正負が打ち消しあってしまう
ため、誤差の二乗和で評価するんですね。
二乗和が最小になるなら、４乗和も６乗和も最小になりますね。
誤差の二乗和が最小になるようにする、っていうだけの話で、
この段階では統計は関係ないと思います。

回答No.3

incd

ずばり計算しやすいからでしょう。
その他、そうして得られた推計値が良い性質を持つというのもあると思います。
二乗でなくて、たとえば絶対値を取るという推計値もあります（ただし、計算は困難）。

なぜ分散の定義は平均からの乖離の二乗の期待値なのか？
というのとその疑問は本質的に同じことです。ばらつき具合を表す１つの方法が二乗することだということです。

ちなみに「距離」も「分散」もすべて「二乗」から派生しているものなので、根本的な答えとはいえないように思います。

＞＞個人的には、統計の正規分布と
何か関わりがあるのかと思っているのですが・・・。

もっと突き詰めていけばそうかもしれません。そこまで深い話はちょっと分かりません。

回答No.2

ymmasayan

ピタゴラスの定理　うーん？

一応、誤差の分散の推定値は残差の平方和　という所から来ています。↓
かなり理論的ですよ。

回答No.1

sanfran_

回帰式をグラフに描いて眺めれば分かるように
距離、仮にcとすると、そのｘ成分（a)とｙ成分(b)とは、
ピタゴラスの定理により
　a＾2 + b＾2 = c＾2　と、表されるね。
そこから、最小２乗法は来ています。