重回帰分析のモデル式の解釈についてご教授ください。

質問

社会学関係の論文をいくつか読んでいると、重回帰分析の結果として、

・調整済R^2が5％～10％
・モデル式に関してのF検定は0.01％～0.1％で有意
・いくつかの説明変数に関してのｔ検定は0.01％～0.1％で有意

というような重回帰モデルをいくつも見かけます。
私自身、統計学を勉強中で解釈に困っているのですが、
この重回帰のモデルの解釈としては、
「(1)予測においては、目的変数の変動はほとんど説明できておらず、このモデルを使って予測してもほとんど当たらんが、目的変数に影響を与えているいくつかの説明変数の効果がゼロではない。また、目的変数と説明変数との間の影響関係を見ることにおいて、その目的変数に影響を与えるだろう説明変数を明らかにできた」というようなところでしょうか。

よろしくお願いします。

回答No.3

ramayana · ベストアンサー

ANo.2への補足コメント「F検定が有意でなく、いくつかの説明変数が有意」の場合

１　悩ましいご質問です。F検定は決定係数が0でないことの検定、説明変数のt検定は係数が0でないことの検定、という意味付けからすれば、どれかひとつでも説明変数が有意なら、同じ有意水準で F 検定も有意になるはず、とうのが自然な発想です。しかし、現実には、定数項以外に説明変数が 2 個以上ある場合、ご質問のようなケースが生じることがあって、解釈に窮するのです。

２　検定手法が違うのだから結果も違って当然、と言ってしまえばそれまでなのですが、まず、どのようなときにご質問のようなケースが生じやすいのか知っておくのが有益でしょう。F検定は、いわゆる F 値が F 分布に従うことを前提にしています。同様に、t 検定は、いわゆる t 値が t 分布に従うことを前提にしています。さらに、それらの背後には、

「最小二乗法のかく乱項が、平均が 0 で分散が同一の正規分布に独立に従う」

という前提があります。観測データがこの前提を満たさないとき、ご質問のようなケースが起こりやすいのです。

３　上の前提が成立しないとき、どうしたらよいか。前提が成立しないことがある程度予想できる場合があります。「内生性の存在」「時系列データにおけるかく乱項の相関の存在」などです。そのような場合は、それに対応した分析手法の研究蓄積があるので、それらの分析手法を採用してみるのが検討に値します。

４　上の手法も使えず、なおかつF検定とt検定の結果が矛盾する場合は、いつか原因究明がなされ、それに応じた分析手法が開発されるまで、判断を保留する方が賢明かもしれません。

お礼

＞＞「内生性の存在」「時系列データにおけるかく乱項の相関の存在」などです。そのような場合は、それに対応した分析手法の研究蓄積があるので、それらの分析手法を採用してみるのが検討に値します。

大変勉強になりました。聞いたことあるなー程度だったので、本腰をいれて「内生性の存在」「時系列データにおけるかく乱項の相関の存在」を勉強してみます。
ご多忙中にも関わらず、回答していただき、本当にありがとうございました。

回答No.2

ramayana

ほぼ合っていると思います。

若干補足すると、回帰分析の目的は、予測だけにあるのではありません。とくに、社会学では、多くの要因のそれぞれについて、目的変数と関係があるかどうかを判定することの方に目的があることが多いのです。その場合、決定係数やF検定は、あまり重視されません。ですから、決定係数が小さい計測結果も、普通に使われます。

また、その場合、t 検定が有意でない説明変数が発生しますが、それも無駄ではないのです。それらの説明変数が目的変数と関係が薄そうだ、という知見が得られるからです。

補足

>>F検定は、あまり重視されません…説明変数が目的変数と関係が薄そうだ、という知見が得られるからです。
そうなんですね。F検定があまり重要視されないこと、驚きました！勉強になります。質問なのですが、

論文で、たまにF検定（重回帰モデル）が有意でなく、いくつかの説明変数が有意だったため、説明変数と目的変数の関係を議論しているものを見かけます。
しかし、重回帰モデル（y=B0+B1x1+B2x2+…+Bnxn）において、
F検定（帰無仮説Ho:b0=b1=b2=…bn=0//対立仮説H1：B0,B1,B2,…,Bnのうち少なくとも１つは０でない）
で、帰無仮説を棄却できていない場合、いくつかの有意な変数でさえ、回帰係数が0である。
ということになり、その0である有意な変数について議論することは妥当（意味のある議論）なのでしょうか。
乱文かつ浅学のため、間違った質問かもしれませんが、ご回答して頂ければ幸いです。

回答No.1

trytobe

基本的にご指摘のとおりなのですが、

R^2(決定係数) は、相関係数のように 小数(一般に小数点以下2桁)で表示するような気がするのですが・・・。

R^2 は、目的変数 y の近似式として説明変数 x1, x2, ... をたくさん使えば使うほど、付け加えた説明変数で、強引にプラスマイナスの影響を与えて、目的変数 y により近似した「ようなフリ」だけできてしまうので、

普通は、説明変数をよほど絞らない限りは、0.05～0.10 なんていうほぼ近似できていないものを提示しない(意味がない)と思われるからです。

さて、調整済みR^2 がそこまで低いとすると、用いた説明変数の数と関連する「自由度」で調整しているはずなので、よっぽど無駄な説明変数まで入れて、y = a・x1＋b・x2＋・・・ という長ったらしい式をサンプル数分 y1, y2, ... , yn まで y に関する ｎ個の式を立ててやってもほとんど近似できていない、という話になります。

ただ、その説明変数のチョイスについては、F検定で有意(これも1%～10%で有意が社会科学の定番ラインだと思いますが)なので、そのチョイスされた説明変数はおそらく目的変数を説明するのに意義があるものであり、

説明変数を単独でｔ検定してみたときに有意(同上)で、目的変数 y を表記するモデル式に使われる価値がある説明変数だろう、という主張なのだろうとは思います。

補足

＞＞用いた説明変数の数と関連する「自由度」で調整しているはずなので、よっぽど無駄な説明変数まで入れて、y = a・x1＋b・x2＋・・・

一番多くの説明変数を投入しているモデルは15個の説明変数を投入していました。