どんな関数が最小2乗法に適する?

質問

一般論をお聞きしたいのですが、どんな関数に従うか(理論的に)わからないデータがあったとします。
その場合にどんな関数を用いて最小2乗法を行うのが良いのかお尋ねしたいのです。

非常に狭い範囲においては一次関数に従うでしょうから、1次関数にするでしょうし、
少し範囲を広げるとグラフの曲がっているのが見えてくるでしょうから2次関数にするでしょう。
そうやって欲張って(笑)いくと、3次関数,4次関数,…としていくことになるのでしょうが、
他に方法はないのでしょうか。
例えば2次関数に√xの項を加えるとか、3次関数に1/xの項を加えるような方法は有効なのでしょうか。
グラフを見た感じy=ax^n (ただし0<n<1)のような関数なのですが
データの対数をとって一次関数にしてもあまり良い近似にならなかったようで、
EXCELの逆行列機能を用いて2次関数,3次関数,…としていったのですが、
わずかであっても極大・極小ができては困ります。
かといって数学力がないので複雑な関数で置いても解けないと困るのです。
こんな事態なのですがアドバイスいただけないでしょうか。

回答No.2

at9_am · ベストアンサー

もし各係数が有意になる、などを「良い結果」とするのであればこの方法は使えませんが、単純に R^2 が 1 に近ければ良いというのであれば、私ならこうする、という方法を書きます。

1.
グラフを書いてみて大雑把な形を把握する
→この問題なら y=ax^n の形

2.
一次関数に変換する
→この問題なら log(y) = log(a) + n log(x)

3.
もし近似が良くなければ a,n の推定値 a~, n~ を用いて残差 e を
e = y - y~ = y - ( log(a~) + n~ log(x) )
として計算し、e と x の関係を 1. から 3. まで繰り返す。

4.
近似が良くなった e と x の関係式を例えば e=b+mx と仮定すると、
log(y) = log(a) + n log(x) + e
e = b + m x
から
log(y) = log(a') + n log(x) + m x
とすれば、充分に良い近似が得られる。
この場合、元々の式は
y = C x^n exp(x)
である。

補足

残差に対して最小二乗法を行うということですね。
最終結果となる式（y = C x^n exp(x)）を導出の段階から使うとなると大変そうですが、これなら何とかなりそうです。ありがとうございました。

ところで、参考までに意味がわからなかったところがあるので、少し教えていただけないでしょうか。
(1)「各係数が有意になる」というのはどういうことでしょうか。
時間と距離の関係を二次関数を用いて最小二乗法で係数を求めたときに、二次の項は加速度と関係がある、というようなことですか?

(2)R^2というのは何のことでしょうか。

回答No.3

at9_am

> (1)「各係数が有意になる」というのはどういうことでしょうか。

係数の推定値は、当然のことながら分散を持ちます。したがって、係数がゼロかどうかを通常は t 検定を用いて検定する必要があります。
統計的にゼロではないといえる場合、その係数は有意です。

> (2)R^2というのは何のことでしょうか。

y の総変動を説明変数が説明する割合のことで、ゼロと１の間の数値をとります。当然、１であれば y の変動全てを説明していることになりますから、フィットが良くなります。

回答No.1

oyaoya65

最小２乗法に適した関数は滑らかでデータのおおよその特徴を持った関数を使った方がいいですね。n次多項式の近似曲線はどうしても振動（極大、極小値のでるうねりのある曲線）が出てしまい勝ちですね。

最もデータがxの２乗のカーブに沿ってバラついているならxの２乗項を用いた近似関数を使った方かいいですね。
近似関数は、必ずしもxのべき乗だけで構成しなくてもかまいませんね。データの分布をよく観察して、色々な関数にパラメータ係数をつけて表現し、その係数を最小２乗法で決めてやればいいですね。

＞グラフを見た感じy=ax^n (ただし0<n<1)
そうなら、y=ax^n　のaとnを最小２乗法で決めても良い訳ですね。

補足

＞そうなら、y=ax^n　のaとnを最小２乗法で決めても良い訳ですね
導出が面倒だったので、とりあえずデータをx,yともに対数にして、
一次関数で近似したのですがあまり良い近似になりませんでした。
それでもy=ax^nでの近似で良くなる可能性はあるのでしょうか。

nを無限まで行えば多項式で十分なわけですよね。
そう考えると、途中で打ち切っているとはいうものの、二次関数の式に闇雲に√xの項や1/xの項を入れるのは無駄があるような気もするのです。
√xの項を入れるのなら、x√xの項を入れなくていいのか、とも考えてしまいます。

私がしたいのは、文献にあるデータの補完をしたいのです。
文献のデータが3桁まで書いてあるのなら、最小2乗法で求めた関数に代入して得られた値の4桁目を四捨五入して元のデータに合うようなものを作りたいのですが…。
そしてデータの性質上、明らかに単調増加なんです。