有意差って…

質問

はじめまして！大学で心理学を学び始めた者です。統計も始めたばかりで、まだホンットに右も左もわからない初心者中の初心者です(>_<;)
初めてレポートを書かなければならないんですが、分析の説明も少ししかありませんでした。。。
そこで、色々試行錯誤しているのですが、大きな疑問が…
多重比較とかの有意差…って、限界水準がいくつなら有意差なしになるんでしょうか？？どこにも載っていない気がします。
Pr=0.01042 なら、5%水準で有意差あり
p adj=0.34なら、有意差なし　としていますが、間違ってますか？？
結構困ってます。どなたか救いの手をお願いします。m(>_<)m
多分私は根本の意味が分かっていないのだと思いますが…汗

回答No.1

rivers · ベストアンサー

初めまして。現在大学４年、専攻は心理学とほぼ同じことをやっている者です。いきなり分析をやれ、とは厳しいですね（かくいう私も統計の基礎的授業を取らずに実際の実験や分析からやり始めたクチですが…）。

初めてで多重比較ということは、一要因分散分析(ANOVA)でしょうか？
統計のソフトは何を使っていますか？質問者様が出された記号はそのソフトでの独自の表記だと思われます。

Prというのは何のことかわかりかねますが、P adjは有意確率あるいは自由度を調整した後の有意確率でしょうか？（わからなければスルーしてください）

一応今回は、分析は一要因の分散分析、PrとP adjはどちらも有意確率の表記だとしてお答えします。

結論から申しますと、質問者様の判断で合っていると思います。

分散分析の多重比較を行う場合、多重比較の有意水準は、基本的には初めの分散分析とそろえます。つまり、仮に分散分析で「5％水準以下で有意」としていたなら、多重比較の際も、有意水準は5％で大丈夫です（細かい話をすると、多重比較では水準を下げろ、という研究者もいるという話もあった気はしますが、少なくとも授業レベルであれば問題ありません）。

少し脇道にそれますが、有意水準というのは、極端な言い方をすれば「研究者が勝手に決めるもの」です。ただし、例えば実験で予測通りにならなかったからといって「じゃあ今回は20％にしちゃえ」なんてことができたら困りますね？
そこで学問分野ごとにある程度の取り決めがあり、心理学ではそれが「5％」や「1％」となっています（まぁ、5％以下で分析して問題はないはずです）。なので、逆に言えば、どの分析でも有意差を出せる最低限の水準はそろえておく必要があります。
ということで、分散分析で5％以下としていたのに、多重比較になったら1％以下じゃなければいけない、ということはありません（ただし、結果の表記で、分散分析で「5％水準」、多重比較で「1％水準」の有意差、と書くこと自体には問題ありません）。

ちなみに、多重比較は、有意確率などを調整する処理を行っていますが、これは、分析するペアが増加することで、実質的に有意差の出る確率が上がってしまう危険を避けるためです。
例えばA,Bの2グループの得点を比較する場合（A-B）と、C,D,Eという3つのグループの得点をそれぞれペアで（C-D,D-E,C-E）比較した場合を考えてみます。ここで、A-B間に5％水準での有意差があったとし、また、C,D,Eに関してはC-D間のみに5％水準での差があったとします。さて、ここでA-B間の有意差とC-D間の有意差は確率的に見れば同じなのでしょうか？
結論を言えばノーです。というのも、5％水準での有意差というのは、実際実験に意味がなかったのに偶発的に差が出てしまった可能性が5％あることを示しています（やや語弊のある言い方ですが、ご容赦ください）。A-Bの差が1つの検定で出たのに対し、C-Dで出たものは、他にD-E,C-Eという「ハズレ」があります。敢えて誤解を避けない言い方をするなら、前者は1回しかクジを引けなかったのに対し、後者は3回クジを引くチャンスがあったのです。つまり、後者では実質的に有意になる確率が上がってしまいます。
このような問題を避けるのが、多重比較で行われる調整の役割です（今回はこれ以上踏み込むのをやめますが）。

長くなりましたが、何となくわかっていただけたでしょうか？
もし私が質問者様の意図を読み違えていたり、あるいは質問者様にまだわからないところがありましたら、お聞きください。

お礼

わかりにくくてすみません；
1要因3水準です。使っている統計ソフトはRです。Pｒは分散分析の限界水準で、P　adjは修正済み限界水準です♪

丁寧で的確な解説有難うございます！！学問分野ごとに一応の決まりがあるんですね！納得できました。
分散分析のあとで多重比較をやっているのですが、それぞれの有意差をどう扱えば良いのかも知りたかったので有難かったです。
教科書では納得しきれなかったのでとっても助かりましたm(_ _)m

回答No.2

backs

p値の意味を理解すれば大丈夫です。

要するにp=0.01042というのは、100回検定を行ったら約1回（0.001042*100=1）は誤った結果が得られるということです。有意水準は100回に何回の失敗なら許容するかという判断基準ですから、α=0.05(5%)というのは100回に5回の失敗なら問題ないだろうとしているわけです。だから、5%水準ではp=0.1042は有意に差が認められると主張できるわけ。

そう考えると、p=0.34がなぜ有意でないか分かりますでしょう？

それから、少し違う説明でいうと、p値とは帰無仮説が正しいという条件の下で、偶然にその検定統計量が得られる確率ということができます。だから、p=0.01042という値は偶然的に検定統計量が得られる確率がわずか1%しかないのでから、今回得られた実験の結果は偶然によるものではない、という証拠になります。

p=0.34ならば、偶然に"そういう"結果が得られた確率が34%もあるわけですから、「今回だけはたまたまそうなっただけでしょ。」と反論されれば、それでオシマイということです。逆にp=0.01042なら、、、どうなりますか？

お礼

わかりやすい解説有難うございます！P値の意味が頭の中で整理できた気がします。
やっていて0.055のときなどもあり、これも有意差なしで良いのかなどと疑問に思っていました。