最小二乗法における有効数字について

質問

最小二乗法における有効数字について質問があります．

直線近似を行うとします．最小二乗法を用いるデータの有効数字を考慮して，最小二乗法により求められた直線の傾きa，切片b　の有効数字が決まると思うのですが，どのようにこの有効数字を決定すれば良いのでしょうか？

回答No.3

hitokotonusi · ベストアンサー

>この最確値とはa，bを有効数字を気にせずとりあえず求め

この手の計算は計算量が多いため通常手計算はしません。
なので計算途中は計算機に任せて最大の桁数で計算すればいいです。

＞例えばですが，ua = 0.0011 と求まればuaの最大の桁は10^{-3}となるので，
＞aは10^-3もしくは10^-4までの値を使えば良いという認識でよろしいですか？

これが最終結果なら

a = 1.234±0.001　または　a = 1.2345 ± 0.0011

と表記します。(単位があれば単位を忘れずに)
(計算過程にあってさらに計算を進めるなら、最低一桁以上は余分に取っておく必要があります。)

＞加減算や乗除算による有効数字の取り方を考えるだけでは駄目なのでしょうか？

かえって面倒くさいですよ。

それに、いわゆる有効数字の計算は簡便な計算法に過ぎませんので、統計処理をするまでの手続きと思っておいたほうがいいです。標準偏差で不確かさを計算するまではどこで打ち切っていいか不明なので、それまで使う計算法ということですね。いったん標準偏差が計算できたらそれに従うべきです。

お礼

質問に答えていただきありがとうございます．

一度，きちんと統計について勉強したいと思います．

回答No.2

hitokotonusi

傾きa，切片bの不確かさを求めてそれによって評価します。

割と面倒ですが、最小二乗法の不確かさまで書いてあるものはあまりないので、
ここでやってみます。1次の最小二乗法でa,bを求める式は

a = [ nΣxiyi - (Σxi)(Σyi) ] / [ nΣxi^2 - (Σxi)^2 ]
b = [ (Σxi^2)(Σyi) - (Σxi)(Σxiyi) ] / [ nΣxi^2 - (Σxi)^2 ]

簡単のため分母を

Δ＝nΣx^2 - (Σx)^2

と定義します。これらの式をyiの関数とみなしてyiで整理すると

a = [ nΣxiyi - (Σxi)(Σyi) ] / Δ = Σi { [n xi - Σxj] /　Δ } yi
b = [ (Σxi^2)(Σyi) - (Σxi)(Σxiyi) ] / Δ = Σi { [(Σxj^2) - (xiΣxj)] /　Δ } yi

yiの係数をそれぞれCi, Diと書くことにするとこれらの式は

a = ΣCi yi　　Ci = [n xi - Σxj] /　Δ
b = ΣDi yi　　Di = [(Σxi^2) - (xiΣxj)] /　Δ

と書けていることがわかります。

一般に、ある変数Xが正規分布に従う確率変数xi (平均μi, 分散σi^2)の線形結合、つまり、

X = c1 x1 + c2 x2 + ・・・ = Σci xi

であるとき、Xの平均<X>と分散σX^2は

<X> = Σci μi
σX^2 = Σci^2 σi^2

になります。この関係を使い、yiの分散がiに寄らずすべてσ^2であるとすると

σa^2 = ΣCi^2 σ^2
σb^2 = ΣDi^2 σ^2

となります。ほんの少し長い計算になりますが、ΣCi^2とΣDi^2を計算すると

ΣCi^2 = n/Δ
ΣDi^2 = (Σxi^2)/Δ

になることを示すことができ、分散は

σa^2 = { n/Δ} σ^2
σb^2 = { Σxi^2/Δ} σ^2

で求めることができます。

あとはσ^2を求めればよいのですが、普通これを事前に知ることはできないので、
残差の二乗和を使って不偏分散を計算し、代用します。不偏分散u^2は

u^2 = Σ (yi - axi - b)^2 /(n-2)

で計算します。この式の中のa,bはそれぞれ最確値を使い、
求めるべき定数がa,bの二つあるので、残差二乗和をn-2で割ります。

これで分散の推定値が求められますので、不確かさua, ubはその平方根を取り

ua = √[{ n/Δ} u^2 ]
ub = √[ {Σxi^2/Δ} u^2 ]

で計算します。こうして求めたua,ubの最大の桁、もしくはその次の桁までとります。
(ua,ubを何桁まで取るかは状況によりますが、普通は一桁か二桁求めておけば充分です。）

最小二乗法の正規方程式

A^t A a = A^t y

を知っていれば、一般にi番目のパラーメータaiの分散σai^2はyの分散がすべて等しくσ^2として

σai^2 = [(A^t A)^(-1)]ii σ^2

で求めることができます。([(A^t A)^(-1)]iiは行列(A^t A)の逆行列のii要素。)
実際に計算するときには上同様にσ^2は不偏分散に置き換えます。

お礼

回答ありがとうございます．

私は統計学に詳しくないので，おそらく初歩的な事となってしまいますが，いくつか質問させてください．

1つ目の質問ですが，途中の残差二乗和を計算する際にa，bの最確値を用いるとありますね．この最確値とはa，bを有効数字を気にせずとりあえず求め，その桁数を最大限大きくとった値の事なのでしょうか？

2つ目の質問は，最終的にa,bの有効桁はua，ubの最大の桁，もしくはその次の桁ということになるのでしょうか？例えばですが，ua = 0.0011 と求まればuaの最大の桁は10^{-3}となるので，aは10^-3もしくは10^-4までの値を使えば良いという認識でよろしいですか？

最後の質問ですが，もう一方の回答にあるように，a，bを計算する際の加減算や乗除算による有効数字の取り方を考えるだけでは駄目なのでしょうか？私は当初はこちらの考えが正しいと思っていたのですが・・・．

質問を重ねて申し訳ないのですが，更にご教授いただければと思います．

回答No.1

DLIVE

最小二乗法による直線近似において、用いるデータをどのように計算すれば直線の式ｙ＝ａｘ＋ｂが求まるかを理解すれば、有効数字の扱い方がわかると思います。
（参考URLを参照）

最小二乗法による直線近似では、データをグラフにプロットしたときに、データの座標（x1,y1）と直線の上の点（x1,yn）の距離の二乗の和が最も小さくなるように計算しています。

計算の過程ではデータの座標を用いた加減乗除しか行っていませんので、一般的な有効数字の考え方と同様に、データの有効数字の桁数に式ｙ＝ａｘ＋ｂのａやｂの桁数を合わせればいいです。

エクセルなどの表計算ソフトを使えば簡単に求めることができますが、一度、４ポイントくらいのデータについて電卓を片手に計算してみれば理解が深まると思います。

参考URL：

http://szksrv.isc.chubu.ac.jp/lms/lms1.html

お礼

回答ありがとうございます．

aやbを求めるのに，最終的には分母，分子でそれぞれ乗除算と加減算を行いその結果を割るため，その時の有効数字の処理の方法に従うという事ですね．
この方法だと非常に明快で良いのですが，回答者お二方の間の回答の内容が異なっていますね．
私にはどちらの方法を用いるのが良いか判断がつかないのですが，もし何か補足がありましたらよろしくお願いします．