t値の使い方について

質問

私がモヤモヤと感じている疑問についてお答えください。t値を計算した後、一般的にはt値とt分布表と照らし合わせた上で、p値が５％よりも低ければAとBの間には差がある、などと解釈するようですが、私にはどうもしっくりきません。この５％（１％、0.1％・・）は、「この水準を下回っていれば差があることにする」と取り決めた値に過ぎず、絶対的なものでは無いと理解してよろしいですか。もしもそうであれば、t値＝3とt値を＝10をいっしょくたにして「ともに有意である」などと表記するだけで終わらせずに、t値を変量として用いた「差の順位づけ」、例えば、首相の好感度のt値は３だが、外務大臣の好感度のt値は10だった。だから、外務大臣の好感度のほうがAとBの差が大きい、などと記述することも出来ると思うのですが、正しいでしょうか。正しい場合、単純にAとBの平均値を比べるのではなくt値を使うことにどのような優位性があるのでしょうか（あるいは無いのでしょうか）。私は、異なる尺度の回答が混在している場合（例えば、首相の質問が５件法、外務大臣の質問が６件法のように混在している場合）に、平均値よりもt値が優位になると思いますが、いかがでしょうか。

回答No.2

orrorin

>「この水準を下回っていれば差があることにする」と取り決めた値に過ぎず、絶対的なものでは無いと理解してよろしいですか。

その通りです。
ですからより厳しい分野では1%とか0.1%を採用しますし、逆にその分野が許せば「95%水準で有意」とかも可能です。

> t値を変量として用いた「差の順位づけ」、例えば、首相の好感度のt値は３だが、外務大臣の好感度のt値は10だった。だから、外務大臣の好感度のほうがAとBの差が大きい、などと記述することも出来ると思うのですが、正しいでしょうか。

記述が不十分で想定されているケースがよくわかりません。
この場合のAとBとはなんでしょうか。
あるいは何と好感度を比べてのt値なんでしょうか。

たとえば政治家全体の好感度をベースラインとするなら、全体、首相、外相の比較に意味がありますが、そもそも比較できないようなデータ（首相5件法、外相6件法のようにデータの取り方が違う）ならばt値だけをみて順位付けるようなことはできません。
比較に意味がある場合、「差が大きい」かどうかはt値を算出するまでもなく、数字の大小関係を見れば済むことです（あるいは差の差を従属変数に検定をやりなおすか）。
もし効果の大小を比較したいのであれば、t値のような検定統計量ではなく、効果量を使います。

> 正しい場合、単純にAとBの平均値を比べるのではなくt値を使うことにどのような優位性があるのでしょうか（あるいは無いのでしょうか）。

何のために検定をやっているのかを根本的に理解されていないのですね。
測定値を比較すれば、かならず差が生じます。
t値、あるいはp値が示しているものは、その差が偶然得られるものかどうか、です。

回答No.1

ur2c

> t値を変量として用いた「差の順位づけ」... 正しいでしょうか。

正しいです。区間推定はそのような考え方です。

> 単純にAとBの平均値を比べるのではなくt値を使うことにどのような優位性が

平均値の差だけでなくその分布を考慮しているという点です。たとえば平均値の差が 1 だったとき、差の標準偏差が 0.1 だったらその差に意味があると思うでしょうけど、標準偏差が 10 だったらその差は誤差だと思うでしょう。