高次の重回帰式について

質問

多変量解析を行なっているのですが教科書などを見ても見つからなかったので教えてください．

現在，3変数x1，x2，x3の重回帰式を作ろうとしています．
多変量解析は初めてなのでとりあえず，教科書に載っている方法を真似てみました．
まず各変数と目的変数yについての単回帰式は，最小二乗法によって係数a～lを求めて

y(x1) = a*x1^3+b*x1^2+c*x1+d

y(x2) = e*x2^3+f*x2^2+g*x2+h

y(x3) = i*x3^3+j*x3^2+k*x3+l

という式が，実際の値とよく一致していることがわかりました．
そこで重回帰式として

y(x1，x2，x3) = a*x1^3+b*x2^3+c*x3^3+d*x1^2+e*x2^2+f*x3^2+g*x1+h*x2+i*x3+j

というモデルを作ったのですが，実際の値と一致しません．
本やインターネットに載っている重回帰式はほとんどが
y(x1，x2，x3) = a*x1+b*x2+c*x3+d
といった，変数が1次の式ばかりで，私が作ったような重回帰式は載っていたとしても「高次回帰式である．」のようにさらっと書かれているだけでした．
そのため何が悪いのか，どうすれば良いのか全くわからなくて困ってます．どなたか教えてください!お願いします．

回答No.1

ramayana · ベストアンサー

x1^3、x2^3、x3^3、x1^2、x2^2、x3^2、x1、x2、x3の9個を説明変数とする、線形多重回帰式を最小二乗法で推計すればよいのではないでしょうか。

x1^3、x1^2、x1などに関数関係があるのが気持ち悪いと思われるかもしれません。しかし説明変数どうしに関数関係があっても、それが多重共線性でない限り、最小二乗法の理論は有効です。

ただ、これだけ説明変数が多いと、多重共線性が起こりやすいので、警戒する必要があります。それをチェックする意味でも、推計後に係数の有意性を確かめることが必須です。

お礼

>> x1^3、x1^2、x1などに関数関係があるのが気持ち悪いと思われるかもしれません。しかし説明変数どうしに関数関係があっても、それが多重共線性でない限り、最小二乗法の理論は有効です。

このような状況でも最小二乗法は使えるのですね．どのような場合にどの理論が適用できるかの知識がほとんど無いので助かります．

>>説明変数が多いと、多重共線性が起こりやすいので、警戒する必要があります。それをチェックする意味でも、推計後に係数の有意性を確かめることが必須です。

わかりました．確かめてみます．

回答していただき，ありがとうございます．