多重検定

質問

多重検定について教えてください。

私は動物を使った試験をしています。
ひとつの試験の中で
通常の個体群と病態群、病態＋薬剤群を比較
さらに時間軸として複数ポイントある
そういった解析をすることがあります。

こういった際、どのような検定をするのが好ましいのでしょう？
t検定を複数かけるのがだめだということは理解できるのですが
それ以上の検定の違いと
用い方がいまいちよくわかりません。
今はtukeyを使っているのですが、t-testだと非常に有意だと
返してくれるような比較においても
tukeyだと全然有意でない、といったケースもあるので
なおさら理解ができない状況です。

例えばone-wayの場合とtwo-wayをかけるようなサンプルの解析では
検定も変える必要があるということなのでしょうか？

お詳しい方、よろしくおねがいします。
ただ専門用語ばかり並べるのは勘弁してください、数学嫌いなので・・・
またこういった統計学に関して
わかりやすい読みやすいお勧めできる参考書ありましたら
教えてください。

回答No.1

cametan_42 · ベストアンサー

＞非常に有意

統計学的には「非常に有意」と言う用い方はしません。
「有意」か「有意じゃない」か、それだけです。

＞tukeyだと全然有意でない、といったケースもある

それはtukeyの方が正しいですね。
基本的にt検定は「二群の」検定だけに用いられるモノで、「多群の」には対応していません。何故なら、多群の比較に於いてt検定を連続に適用していくと誤差が大きくなっていくから、です。
多重比較は、その誤差を小さく押し止める為に(結構無理矢理に)考え出されたモノで、要するに「専門用語ばかり並べるのは勘弁してください、数学嫌いなので」と仰るんでしたら、なおさら「適する場所に適する技法しか使ってはならない」と言う事だけは肝に銘じておくべきでしょう。

tukeyはかなり進化してるんですが、原則、多重比較の場合、p値を「比較する対象の組み合わせ数」に応じて「割っていってるだけ」ってのが基本です。その発想から、色々と発展してきてtukeyに到達してるんですね。それさえ押さえておけば、t検定をご存知でしたら「何となく」何をやってるのか想像は付くでしょう。

お礼

回答ありがとうございます。
すいません、非常に有意なんて言い方をしてしまいました。
やっぱりtukeyのほうが正しいんですね。
もう一点教えてください、
多群比較において、比較するべき群と比較しなくていいところ
があるかと思います。
例えばtwo-wayなどを利用するサンプルセットの場合で
時間の違いはあるが処理は同じ、正常固体群、
などについて比較した場合
違いはごく小さいので、検定は非常に悪くでますよね？
そういった数値が実際に違いがある
群同士の検定に悪い影響を与えることってないのでしょうか？

またこのように実験背景を考えることは
こちらが勝手にそう考えるだけだとも考えられるので
検定という意味では背景は関係がないと
考えるべきなのでしょうか？

回答No.3

cametan_42

＞多群比較において、比較するべき群と比較しなくていいところ
があるかと思います。

生物学的な要請がどうかは知りませんが、原則、統計学的な文脈に於いては「全ての群の組み合わせに対してしらみつぶしに多重比較」と言う事になるんじゃないでしょうか?
そもそも、多重比較をする前に「比較するべき群と比較しなくていいところ」が分かっているのでしたら、多重比較する必要性がありません(笑)。何故なら「既に答えが分かっているから」です。

＞そういった数値が実際に違いがある
＞群同士の検定に悪い影響を与えることってないのでしょうか？

多重比較の原理的な部分では、特に「ホルムの方法」と呼ばれている方法ですが、これは単純に分散分析の結果を用いて2群のt検定で出した普通のp値を利用して、群の組み合わせの検定順序を入れ替えて、その後調整済みP値を利用して検定します。
この方法が現時点、多重比較の基礎ラインだと思うんですが、この方法ですと、全ての組み合わせの検定を行うワケではなく、「群の組み合わせを順番に検定していって、調整済みP値が1回でも有意じゃなくなった時点で」それ以上の検定は行いません。従って、「これ以上は何も言えない」ってラインはハッキリとしていると思います。
ですから、これが基礎ラインなんで、軒並み検定していって「群同士の検定に悪い影響を与えること」ってのは無いとは思いますよ。

そうですねえ…エクセルをお使いになられるんでしたら、東京図書の「すぐわかるEXCELによる実験データの解析」って本が数式がそんなに入っていないけど実践的な「多重比較の入門書」としてはお薦めかもしれません。これは非常に原始的な「ボンフェローニ法」までしか紹介していませんが(Excelの限界もあるし、本当に入門書)、ある程度「多重比較って何をやってるのか」分かるには良い書籍だと思います。少なくとも自分で手元で動かす以上、想像はつきやすいかもしれません(SPSSなんかだとやってる内容が高度過ぎてイメージするのが難しいので)。

お礼

>多重比較する必要性がありません(笑)。
回答ありがとうございます。この言葉が全てでした。
なんかもやもやしてたものが少しはれました。
推薦いただいた本見てみたいと思います。

回答No.2

cametan_42

もう一つだけ。

＞こういった統計学に関して
＞わかりやすい読みやすいお勧めできる参考書ありましたら
＞教えてください。

これはちょっと難しいです。
単に普通の検定の話、だったらそれこそオーソドックスに東大出版会の「統計学入門」を手元に置いておいて・・・ってのがある種無難な提案ではあります。(リファレンスとして使っても強力な教科書だ、とは言えます)
が、「多重比較」となると・・・・・・???
あったら是非とも僕の方が知りたいですね(笑)。
と言うのも、多重比較そのものが

1.現在研究中の分野である。
2.ANOVAの後、多重比較は行うべきではない、と言う考え方もある(検定の多重性の問題)。
3.検定なんて古くさい(笑)。

と言う問題抱えてるから、なんですよ。
特に1番は結構大きいですよね。検定なんてある意味「様式化」してるのが事実なんで、「こなれた技術」になっていれば、実際問題「初心者用の統計の教科書」に載ってておかしくないんです。載ってないのはそれなりに「未解決の問題」が山積してる、って言い方も出来ますよね?これは2番とも結構絡んでるんじゃないでしょうか?
すなわち、多重比較にマトモに取り組みたいのだったら、やっぱり「専門書」に当たった方が無難じゃないか、って言い方にしかならないんです。そうなると、「数学嫌いなので・・・」と言う要求には答えられません。
3.ですと、今しゃかりきに統計学/情報学分野で研究されているのは「情報量基準」だと言う話を聞きます。フィッシャー型の「検定」より「情報量基準」の方が面白いらしいんですよ(笑)。この辺は将来的には検定に代わる技術になり得る可能性もあります(いや、もう既にある程度なってるかも?)。共立出版の「情報量統計学」辺りに、AICと言う情報量基準が紹介されていて、この方法論がその後の情報量基準、と言う考え方に影響を与えました。検定との比較が論じられているので面白いと思います。
情報量基準、ってのはかいつまんで言うと「選択したモデルの良さを評価する」基準なんですが、例えば題意に従うと「個体群と病態群、病態＋薬剤群を比較」すると言うのは、そう言う「任意のモデルを設定するのは有効かどうか?」と言う問題に置き換えられます。そこで、色々なANOVAモデルを作ってみて、「どれが一番マシ(で予測能力が高い)モデルか」判定する、と。
もちろん、自動で「これが世界で現存するありとあらゆるモデルの中で一番いいモデルですよ」と言う事は教えてくれませんし、「設定したモデルの中では」どれが一番マシか、しか言えないんですが、群の設定自体が「条件付き」である以上、同じと言えばまあ、同じです。
そっちの方へと逃げるのも一つのテだとは思います(笑)。
(AIC自体が最近の統計解析ソフトには組み込まれているケースが多いので)

お礼

２回も回答ありがとうございます。
多重比較の問題点、よくわかりました、
そのような問題点を抱えつつも使用されているというのが
現状なのですね。
二群であればt-testをやれ、という王道が
多重比較には王道がないのはそういった理由があるのですね。
情報量基準という考え方、初めて聞きました
まだイメージをきちんととらえられていなくて
幼い返事になりますがなんかおもしろそうですね。