最小二乗法について・・・

質問

最小二乗法について全く分かりません。どういう時に使うのか？どうやって使うのか？どういう式があるのかを教えて下さい。できれば例を使っておねがいします。皆さんにお手数掛けますがよろしくお願いします。

回答No.2

yoichiro-ito

最小自乗法について回答します。
最小自乗法は直線に近似できると思われるデータの
近似曲線を求める手法です。

実験のデータなどで直線的な点のデータがでた場合、
その各点にもっとも近くなるような線を引きますが、
それを理論的にすべての点に近くなるように曲線が
引けます。

直線の場合について説明します。

x,y座標上で考えます。
x_k、y_kを与えられたデータとします。
kは1からnです。ｎ個のデータがある場合。
求める直線の方程式をa+bxとします。このa,bを求めます。
点x_k,y_kと直線の差ｄ（y軸に平行）は
ｄ=y_k-(a+bx_k)とします。
ｄは正負両方の値をとり得ることを考慮し２乗し、
全部の点での差を足しあわせると、
E=Σ{y_k-(a+bx_k)}　である。
これを最小とすることで、最も近似している直線を求める。
自乗の足し算を最小とするので最小自乗法という。
Eはaとbの関数なので、a,bそれぞれで偏微分する。
Eのaでの偏微分、Eのbでの偏微分それぞれ０とする。
微分値が０というのは極小値を求めることの意味である。
次の２式が求められる
Σ -2(y_k-a-bx_k) = 0
Σ -2x_k(y_k-a-bx_k) = 0
これより
Σ (y_k-a-bx_k) = 0
Σ x_k(y_k-a-bx_k) = 0
であり、変形して

n・a + (Σ x_k)・ｂ = (Σ y_k)
(Σx_k)・a + (Σx_k^2)・b = Σ(x_k・y_k)

の２式がでる。これを正規方程式と呼ぶ。
これで
Σ　x_k
Σ　x_k^2
Σ　y_k
Σ　x_k・y_k
を求めることで２次方程式を解けばよい。
これで、a,bが求まり直線の式が求まる
Σ　x_k　はデータのｘの値のみすべて足しあわせるという
意味です。
尚、"_"は右下付き、"^"は右肩付きという意味で、
Σは１からｎまでの足し算です。

以上は直線の最小自乗法ですが２次曲線、３次曲線でも
同様の考え方でできます。

例）
データ(2,1)(4,2)の２点の場合。
Σx_k = 2+4 = 6
Σx_k^2 = 2×2+4×4 = 20
Σy_k = 1+2 = 3
Σx_k・y_k = 2×1+4×2 = 10
よって２次方程式は
2×a + 6×b = 3
6×a + 20×b = 10
これを解くと
a=0
b=1/2
この場合２点しかありませんので、２点を通る直線が
求まります。データが増えてもやり方は同じです。

検索エンジンで検索すればいろいろ情報がでてくると
思います。長くなりましたが、ご理解いただければ
幸いです。

お礼

一般にどんな式があるのかを教えていただいて、本当にありがとうございます。この回答を参考にして、いろいろ考えてみたいと思いました。また、解らないことがあるときには、質問しますので、愚問ではありますが、よろしくお願いします。ありがとうございました。ゆにーより