重回帰式の応用

質問

重回帰分析の結果と回帰式の使い方、応用の方法について質問です。相関係数0.85、決定係数0.72と出たのですが、全部で７つの説明変数のうち６つは有意ではありませんでした。多重共通性の問題に該当する説明変数を省き、再度分析したのですが結果として有意と判断されるのは１つの要因のみでした。そこで、その１つの要因に対して単純回帰分析を行うと相関係数0.72、決定係数0.51と重回帰分析よりも数値が低下してしまいました。この場合有意性の問題を無視し、はじめの重回帰式を用いて被説明変数を求めること（有意ではない説明変数を多く使うことで、被説明変数の誤差を少なくすること）に何かしらの問題はありますでしょうか？
素人のため質問内容がわかりにくかったら申し訳ありません。よろしくお願いします。

回答No.2

backs · ベストアンサー

重回帰分析を行って相関係数が0.85だったというのはどういうことでしょう（重相関係数のことですか？）。ちなみに、変数を標準化（基準化）して回帰分析を行うと回帰係数は応答変数（従属変数、目的変数）との相関係数と一致します。そういうこともあるので、回帰分析においては「係数が**であった」という風に使い分けた方がよろしいかと思います。

>　結果として有意と判断されるのは１つの要因のみでした。

適切な方法（判断）によって変数が取り除かれたのであれば、その1つの変数のみが有意に応答変数の変動を説明しているということでしょう。それで決定係数が下がるということは、まだ応答変数の変動を説明できていない変数が他にあるだろうということです。

>　この場合有意性の問題を無視し、はじめの重回帰式を用いて被説明変数を求めることに何かしらの問題はありますでしょうか？

適切でないモデルより得られた予測値は、やはり適切でないといえます。要は役に立たない変数をもとに予測したわけですから、その結果も無意味（役に立たない）ということです。

多重共線性が疑われる場合にNo.1さんがあげているPCA回帰を行うことは有効です。しかし、そもそも役に立たない変数が組み込まれているのであれば、何をやってもどのみち得られる結果は相違ないでしょう。

場合によっては係数に対するp値が0.10くらいならモデルに組み込んだ方が良いとすることも一手段です。

お礼

>重回帰分析を行って相関係数が0.85だったというのはどういうことでしょう（重相関係数のことですか？）

申し訳ありません。重相関係数のことです。

＞それで決定係数が下がるということは、まだ応答変数の変動を説明できていない変数が他にあるだろうということです。

なるほど！そういうことなのですね。

分かりやすいご回答非常に参考になりました。有難うございました。

回答No.1

stomachman

主成分分析(principal component analysis)を行うと良いのでは？すなわち、説明変数をむきだしで使うのではなくて、幾つかの説明変数の線形結合として作られる、互いに独立な複数の「因子」を（自動的に）算出して、それらの因子の線形結合でデータの分布を説明するのです。説明への寄与率が小さい因子は単に無視します。（因子たちが互いに独立だから、「ノイズ」と見なすことが出来る。）
　ご質問の場合、説明に有意に寄与する因子の個数はごく僅かでしょう。でも、1個の因子の中にいろんな説明変数がブレンドされているので、高い相関係数が得られます。特に、一番寄与率が高い因子は、ご質問にある7個の説明変数を使った重回帰分析の結果である回帰式そのものになるでしょう。
　この方法の欠点は、因子に名前が付けられないこと。すなわち、（1個の因子の中にいろんな説明変数がブレンドされているので）その因子が何を意味しているかを一言では言えないために、定性的な話に持って行きにくいことです。ことに、何からの因果関係に関する理論があって、その因果関係の傍証を得るために分析を行った（分析では相関関係しか分からないから、あくまで傍証です）という場合には、因子の持つ意味がよく分からないんじゃ「命題」の形にできなくて困ります。
　しかしこの欠点は、ただ欠点であるばかりではない。主要な因子のひとつひとつに各説明変数がどんな重みで組み込まれているかをじっくり見ると、その因子の持つ意味がなんとなく見えてくる。これは現象の本質を洞察するための手掛かりになることがあります。また、単に測定の都合でたまたま選んだ説明変数なんぞよりも、もっと旨い測り方（別の説明変数の選び方）に思い至れるかもしれない。

お礼

ご回答有難うございました。ご回答をもとに主成分分析についても理解を深めたいと思います。