回帰曲線の有意性検定

質問

回帰直線の有意性検定がしたいので、いろいろ勉強していますが、教科書を探しても下記の答えが見当たらず悩んでいます。質問は二つあります。

１）
重回帰分析の場合、T検定とF検定の違いは、各パラメータの検定と、全体的な検定の違いだと理解したのですが、単回帰分析（y=ax+b)の場合、T検定とF検定は全く同じことをしていることになるのでしょうか？

２）
単回帰分析（y=ax+b)の有意性検定（F検定）を行った場合、aが0に近ければ近いほど、少しのバラつきで有意でなくなると思うのですが、その認識はあってるでしょうか？
その場合、有意でないものを棄却すると、aが0に近いものが多く棄却される傾向になり困っています。
（多数あるデータのうち、棄却されるものに偏りがでてきてしまう。）
これを解決する方法はあるのでしょうか？

回答No.2

takurinta

No.1です。追加を見ましたが、よくわかりませんでした。

普通は、aの真の値は一つであり、誤差はあれどもXを増やすことでaを精度よく推定できるようになるのですが、今の問題については、aの値が大小さまざまであるということなので、よくわかりません。また、aが傾きであるなら、Xの広いレンジがら推定するほうがよく推定できますが、狭いレンジで傾きが変わるので、それぞれのXの小範囲 (0～3, 3～7,7～10など??) でaの推定をしているということなのでしょうか???

一般的に、抽象論で質問しない方が適切なアドバイスが得られます。正しく抽象化できるならばすでに問題の本質をつかんでいることになるので、人に尋ねずとも回答にたどりつけてしまうことが往々にしてありますが、そうでないということは、正しい抽象化がされていない可能性があります。薬品の実名は示さずに薬剤A,Bとする、とか、動物Aの体長と胃の内容物の重量とか、観測された粒子Xの質量とエネルギーの大きさEとか、その程度の低いレベルの伏字で状況が説明されてあればもう少し何かが言えるかもしれませんが、追加でいただいた説明は全く意味が分かりません。

素直に読むと、p=0のときは、aが0に近い、すなわち、Xをいくら大きくしてもYはさほど変化しない。p=10のときはaも10に近く、Xを大きくするとYも大きくなる、と読めるのですが、ならば、pが小さいときにはXの効果がないので無効、pが大きいときはXの効果があるので有効、ということになります。しかし、どうやらそのような話ではないようですね。

回答No.1

takurinta

1) についてはまったく同じということになります。
自由度νのt統計量は正規分布と自由度νのカイ2乗統計量の平方根の比ですが、分子・分母を2乗すれば、分子が自由度1のカイ2乗統計量、分子が自由度ν1のカイ2乗統計量になるので、これはF分布に従うことになります。

2) についてはわかりません。
aが0に近ければ近いほど、少しのバラつきで有意でなくなりますが、それは効果の大きさがばらつきに比べて小さい、つまり、効果と思っているものは単なる気のせいで誤差の範囲内と考えることもできるということです。したがって、そのような無意味なパラメータをモデルに加えなくとも一向に差し支えないと思います。
そのため、モデルから除かれてどうして困るのか、私にはわかりません。

なお、「棄却される」という場合、普通はパラメータ=0の検定が棄却されることを指すので、「棄却」=「有意である」=「モデルに採用」ということになりますが、今回の質問については「有意でないものを棄却する」とは「有意でないので帰無仮説が棄却されず、パラメータaがモデルに保持できない」を意図しているものと判断しました。

お礼

大変勉強になりました。ありがとうございます。
補足を書きましたので、もしわかれば教えて頂けるでしょうか？

補足

ややこしい言葉の使い方をしてしまい大変申し訳ございません。ここで棄却されると書いたのは、おっしゃるように、「有意でないのでモデルに維持できない」ことを意味していました。

どうして困るのか....？に関してです。
y=ax+bの推定値aからある物理量（p)の推定を行っています。
（簡単のためp=aとします）
pは、0～10くらいまでの値を取るのですが、aが0に近い時に少しのバラつきに対して回帰曲線が有意でなくなってしまって、求められるpの頻度分布を書くと、大きい方に偏ってしまいます。
データに同じような誤差が乗っていても、p=10の時は値(a)が求められるのに、p=0近くの時は、値(a)が求められないとなってしまいます。
p=10の時は、a=10付近にデータがあって、ばらついている。
P=0付近の時は、a=0付近にデータがあって、同じようにばらついているので、aの確からしさとしては、同じようなものの気がするのですが、、、、。
考え方が間違っているでしょうか？
それとも傾きの確からしさの検定というのは、また別の検定が必要なのでしょうか？