このようなｔ検定は多重性の問題が生ずるでしょうか？

質問

こんにちは。統計初心者です。よろしくお願い致します。
統計について,ご指導ください。
3群以上の平均の比較で,ｔ検定を繰り返すのは,多重性の問題があり,多重比較をしなければならないというのは,なんとなく,理解できています。
では,この場合は,いかがでしょうか？
たとえば,Ａ，Ｂ，Ｃ，Ｄの４条件があり,
類似する条件で,くくって,比較したいと思っています。
ケース１：ＡとＢのｔ検定
ケース２：ＡとＢ+Ｃのｔ検定
ケース３：ＢとＣのｔ検定
ケース４：Ａ+Ｂ+ＣとＤのｔ検定
です。
わかりにくい説明かと思いますが,
お分かりになる方,どなたかよろしくご指導お願い致します。

回答No.6

hirosan777 · ベストアンサー

＃１の補足回答に対してです。（乱文をお許し下さい）
-------------------------------------------
それと＃１での訂正を先に。
　×　私の感覚では、ケース４で分散分析+多重比較・・・
　○　私の感覚では、A,B,C,Dの４群で分散分析+多重比較のみで良い、です。
　　　　　　　　以上が訂正です。
------------------------------------------　

この調査は卒論でしょうか？　補足回答を拝見させて頂きましたが、調査をする前に、もう少し
カテゴリーを上手く分類できていればなぁ～という気持ちです。卒論ではよくありがちですが、
修士の子でも時々、調査をしてから、分析の相談に来る子がいます（××）。本来は、調査を
する前に、どのようにして分析するのかを決め、分析方法が決まってから調査に移るという手続
きを取るものだと思いますよ。と、お説教は、これくらいにして（＾＾）　

しかし、anri2002さんの問題意識は非常に興味深いですね（＾＿＾）。

さて、下記の問題です。
>ケース１：ＡとＢのｔ検定（十分に，みたされている　-　まったく満たされていない）
>ケース２：ＡとＢ+Ｃのｔ検定（十分に，みたされている　-　やりたいことがある）
>ケース３：ＢとＣのｔ検定（まったく満たされていない　-　活動欲求が強い）
>ケース４：Ａ+Ｂ+ＣとＤのｔ検定（活動欲求がある　-　活動欲求がない）

分類は
>Ａ）なにかやっている
>Ｂ）やってはいないが，やりたいことがある。
>Ｃ）やっているし，他にもやりたいことがある。
>Ｄ）家事・育児以外にやりたいことはない。
ですよね。
この場合、どのように被験者（調査協力者）に回答していただいたのでしょうか？

例えば、
１．「何かやっている」と答えた人の中から
　ａ）やっていることに満足している　ｂ）他にもやりたいことがある

のように聞いていれば良いのですが・・・（＾＾；　そうしないと、Ａ）の中にＣ）群の人が混在してしまっているような可能性もありますよね（＾＾；

細かいことですが・・・

また、Ｂ）の取り扱いが微妙ですよね。私のイメージですと、Ａ）Ｃ）の「実際に行動に移している人」と
Ｂ）の「思っているだけの人」では、大きく属性が異なるように感じます。またＢ）には、「すぐに行動に移す準備のある人」と「思っているだけの人」も含まれているように思われます。

私が、anri2002さんの現調査で研究するのであれば、やはり、上記の訂正部分に書いた、A,B,C,Dの４群で分散分析+多重比較のみです。

理由は、そもそもカテゴリーに分けた時点で、それぞれの群が独立していると考えるからです。
その後、tukey等の多重比較を行えば、どの群とどの群との間に平均の差があるか分かりますよね。

しかし、問題は被験者の数です。卒論等ではデータが少なく、４群に分類してしまっては、一部の群が非常に少なくなってしまうなどの問題がありますよね。

そこで、悪い大人としてのアドバイス（苦笑）。
問題があることを分かった上で、多重性の問題もとりあえず無視して、anri2002さんのお考えになったケース１からケース４までをｔ検定してみる。いずれも２群になりますからｔ検定できますよね。そして、そこから導かれた結果を詳細に書く。

考察の部分では、今回のご研究の問題点を指摘する（もちろん、面白い結果が出た部分は、そこもしっかり書く！）。この問題点の部分は、「今後の課題」とする（爆）

いかがでしょうか（＾＾）

研究に問題点はつきものです。重要なことは、今あるデータの中から何が言えるかです。そして、研究に問題があることに気づけば、そこも書く。問題点の気づきがあるからこそ、ご自身の次の研究の課題にもなりますし、次に同じような研究をする者にとって参考になるのです。

お礼

hirosan777さん。
貴重なご指導，ありがとうございます。
＞カテゴリーを上手く分類できていればなぁ～
とまさに，耳が痛い次第です。また，
＞分析方法が決まってから調査に移る
というのも，かなり準備不足で，調査にご協力していただいた方々にも，申し訳ない気持です。
（ちなみにですが，今回の研究は卒論ではなく，育児支援のスタッフをしておりますことより，乳幼児のお母さん方に，ご協力いただき，調査をさせていただいたものです。有効回答数は215名でした。）
しかし，今回hirosan777sanをはじめ，皆様にいただいたご指導を無駄にしないように，何とか，報告書をまとめたいと思います。また，内容によっては，今回の研究の問題点としてあげ，きちんと今後の課題として反省したいと思います。
いろいろとご指導いただき大変ありがたく思いました。
重ね重ね，ありがとうございました。

回答No.10

selfer

こんにちは．No.4，No.5のselferです．
活発な回答がされており，かなり有効な回答が出ていますね（こういう統計に関する議論って読むのが面白いです）．具体的な実験計画が報告されていますので，もう少しだけ考えてみました．

>ケース１：ＡとＢのｔ検定（十分に，みたされている　-　まったく満たされていない）
>ケース２：ＡとＢ+Ｃのｔ検定（十分に，みたされている　-　やりたいことがある）
>ケース３：ＢとＣのｔ検定（まったく満たされていない　-　活動欲求が強い）
>ケース４：Ａ+Ｂ+ＣとＤのｔ検定（活動欲求がある　-　活動欲求がない）

各群の設定に問題があるのではないかという点はひとまずとします．
質問者さんは，ケース１～４の検定を【全て】行いたいわけですよね？　そうすると，No.4で回答した「距離」にも適切に対応しなければならないので，やはりｔ検定はまずいなぁ，と思います．

私自身も，このような4群の群間差を見るのならば「分散分析→多重比較」を行うのがよいと思います（他の研究領域では分散分析後に多重比較をするのはおかしい，という意見もありますが心理学領域ではまだまだ定番でもありますし……）．
ケース１とケース３では二群を，ケース２とケース４では複数群の情報を考慮して検定したいようなので，このように複数群情報を使っての検定ならば，シェッフェ法という多重比較を使うのがよろしいかと思います．

多くの多重比較は，対比較（二群間の検定）で使われるものですが（例，Tukey法），シェッフェ法は対比較のみならず，複数群の検定にも使える汎用性の高いものです．

無論，距離や有意水準の調整などを行ってくれますので，今回の検定にぴったりだと思います．シェッフェ法で複数群の比較のやり方を調べてみることをおすすめします．

お礼

selferさま。
ご指導ありがとうございます。
>シェッフェ法で複数群の比較のやり方を調べてみることをおすすめします．
はい。多重比較は私にとってかなり高いハードルですが，なんとか是非，調べてみたいと思います。
私の為に，様々な角度から検討いただき，貴重なお時間をいただいたこと，感謝しております。
私の力で，どれだけご指導を生かしていけるかわかりませんが，データを生かせるよう，分析・考察をしていきたいと思います。ありがとうございました。

回答No.9

hirosan777

jupiter5さんへ

＃7を拝見させて頂きながら、いやぁ～勉強になるなぁ～と考えていた所、＃８でのご指摘（＾＾；
お恥ずかしい限りです。

偉そうに、anri2002さんのご研究に文句を言っていますが、当然、自身の研究のことを棚に上げて
いるのは、内緒です（笑）

回答No.8

jupiter5

＃７のjupiter5です。

ほんのわずかの時間差で、hirosan777さんと回答がかぶりました。＃６を拝見したところ、言わんとすることは私とほとんど同じです。つたない表現だらけの私の回答は無視していただき、hirosan777さんの回答を参考に、分析を進めていただければと思います。
なにしろ、hirosan777さんの
>調査をする前に、もう少しカテゴリーを上手く分類できていればなぁ～という気持ちです。
というひと言に、100％同意なものですから。。。

回答No.7

jupiter5

＃２のjupiter5です。

なるほど、反復測定ではないのですね。とすると、対応のないデータ同士の差の検定であることを前提に考えなければなりませんね。補足でお教えいただいた内容に沿って、私なりの考えをお伝えします。

まず、＃２で書いた内容は全て「反復測定である」と言うことを前提にお話しましたので、撤回いたします。その上で、改めて各ケースについて考えてみたいと思います。

ケース１と３ですが、これらは４条件中の２つだけを取り出して分析を行うわけなので、対応のないデータとしてｔ検定は可能です。ただし、ケース１と３の両方の分析を行うとなると、多重性の問題が再燃しますので、これはやってはならないでしょうね。また、ケース１を選択した場合のＣとＤ、３を選択した場合のＡとＤ、これらは他の分析でも使わないほうが良いかと思います。それらの条件は、初めからなかったかのように扱わないと、なぜ多重比較をしなかったのか、ということを問題にされてしまうので。逆に言えば、捨てたデータは初めから無かったかのように扱うのであれば、＃４でselferさんがご指摘くださった距離の問題もクリアになりますので、ｔ検定で十分かと思います。

次に、ケース２と４ですが、これは統計的な問題と言うより、仮説、あるいはデータ収集に関する問題がでてきてしまいます。Ｂ・Ｃ、あるいはＡ・Ｂ・Ｃを合成して構わない、という根拠がどこにもないからです。確かに「満たされているか否か」「活動意欲があるか否か」というようなくくり方が出来そうに見えますが、直接的な表現で「あなたはやりたい事が満たされていますか？」とか「何かをやりたいと思いますか？」という問いに答えてもらっているわけではないので、客観的な根拠なく被験者をカテゴリ分けしてしまうことは、好ましいことではありません。ですので、ケース２と４においては多重性の問題は出てきませんが（ケース２では条件Ｄを完全に捨てれば、ですね）、データの妥当性が最大の問題となります。これは統計的な操作でクリアできる問題ではないので、無理はしないほうがいいでしょう。

と言うわけで、あまりお役に立っていない気はしますが、こんな回答でよろしいでしょうか？

お礼

jupiter5さま。
ご指導ありがとうございます。
>調査をする前に、もう少しカテゴリーを上手く分類できていればなぁ～という気持ちです。
はい。調査に入る前の準備不足・検討不足で，調査にご協力いただいた方にも，大変申し訳なく思っています・・・。
>データの妥当性が最大の問題・・・
これもやはり，調査後の分析の方法を十分視野においていなかったため，カテゴリー分けをはじめ，あいまいな質問内容となってしまったためと反省しております。
しかし皆様に，こんなにも親身なご指導していただけて，私といたしましては，勉強にもなりましたし，今後の励みにもなりました。学生さんのように，指導教官の先生にご指導仰げる立場にもない為，今回は，大変助かりました。
ご指導いただいたことを検討して分析し，今後の課題も含めた考察をしたいと思います。ありがとうございました。

回答No.5

selfer

No4の訂正です．上から本文11行目を以下のように訂正します．

（誤り）
＞　しかし，たった一つの比較しか行わない場合でも，【ｔ検定】を行わなければならない，とされています．何故かというと，群間の「距離」を考慮しなければならない，という理由からです．

　↓

（訂正）
＞　しかし，たった一つの比較しか行わない場合でも，【多重比較】を行わなければならない，とされています．何故かというと，群間の「距離」を考慮しなければならない，という理由からです．

回答No.4

selfer

こんにちは．数人の方々が回答されていますが，私もこの質問について考えてみました．以下，多重比較を実際に使ってきた経験則からの回答で，理論的回答ではありません．

多重比較とは何か？
ご存じの通り，複数群データにおいて複数の比較が【同時に】成立しているかを調べるときに適用される統計法です．A，B，C，Dの4群データにおいて，例えば［A vs B］と［C vs D］という二つの比較を同時に行う場合などでは，単純なｔ検定の繰り返しでは駄目で，専用の多重比較をしなければならないわけですね．

それではこの多重比較観では，［A vs C］の一つの比較だけを行う場合（これ以外は絶対にしないのならば）……「複数の比較を同時」にしていないので，多重比較をしなくても良いのではないか？　と考えられます．
しかし，たった一つの比較しか行わない場合でも，ｔ検定を行わなければならない，とされています．何故かというと，群間の「距離」を考慮しなければならない，という理由からです．
今，代表値（平均値）が「A(2)＜B(4)＜C(6)＜D(8)」の順で並んでいるとします（かっこ内の数値は平均値の期待値とします）．同じ比較であっても「A vs B」と「A vs D」とでは，前者の比較は「元々の距離が小さく」，後者は「元々の距離が大きい」です．

距離とは平均値の差と考えられますが，例えば，「A vs B」と「A vs D」では元々の距離の長さ（平均値差）が異なります．距離が小さい「A(2) vs B(4)」では自然状態の距離は「4－2＝2」，距離が大きい「A(2) vs B(8)」では自然状態の距離は「8－2＝6」となります．このように，「A vs B」は元々距離が小さく，「A vs D」は元々距離が大きい，という初期状態です．

さて，同じ距離（例えば6）であっても，元々距離が小さい比較(2)の中では「大きな距離」と感じられますが，元々距離が大きい比較(6)の中では「大きな距離」と感じられません＝「小さな距離」と感じられます．というより，距離が大きい比較においては，大きな距離が生まれるのはそれほど「珍しくはなく」，距離が小さい比較においては，大きな距離が生まれることは「珍しい」ことなのです．同じ距離でも，比較によって珍しかったり，珍しくなかったりします．
有意判定とは，その距離（平均差）が珍しいかどうかの判定なわけで，その「珍しさ」が比較によって異なるわけです．

冗長になりましたので，話を進めます．以上の話から，たった一つの比較であっても，距離に応じて，珍しさが異なりますので，この「珍しさ」を適切に調整しなければなりません．多重比較は，この「珍しさ」の調整機能が含まれていますが，単純なｔ検定の繰り返しではこの調整が行われません．

以上の理由から，ケース１～４を考えてみます．予め，「A～Dの４群がある」という前提に立つならば，仮にケース１と３のように単純な二群比較であっても，「珍しさの調整を行っていない」という理由から多重比較をしなければならないのではないでしょうか？　またケース２や４においても当然，調整を行わなければならないと思われます．

なお，多くの統計解析法で正規分布を仮定しています．確かに仮定していますが，これは「標本平均の分布」が正規分布であるかどうかの問題であり，直ちに各群が正規分布であるかどうかは必要ないのではないのか？（主として，中心極限定理からの意見です），と個人的に思います．

……難しい……

回答No.3

noname#21649

測定条件.a,b,c,dの測定結果として得られた複数の数値の集合A,B,C,Dの比較を行う場合

と仮定して.答えます。
B-Cでもし.平均値の差の検定が有意とします。すると.B+C群は.多くの場合２山をもつ分布となりますから.T検定は実行できないことになります。２山分布の場合には一切の統計的手法が使えないことになります。
b-cで平均値の差の検定が有意でないとします。すると.B+C群は１山分布ですから.A群とB+C群の平均値の差の検定は可能です。この検定で有意となった場合は.A+B+C群は多くの場合２山分布になりますので.統計的手法が一切使えなくなります。つまり.A+B+C群とD群との検定ができません。

検定を行う集合が正規分布を示すことをあらかじめ調べてから.行ってください。

お礼

ご指導ありがとうございます。
正規分布ということで視覚的に考えると，ＢとＣに有意差があれば，Ｂ+Ｃでは２山をもつというもは，大変理解しやすいと感じました。ご指導ありがとうございました。

回答No.2

jupiter5

anri2002さんのおっしゃる意味が理解できているかどうか自信がありませんが、私の解釈に沿ってお答えします。

（ここではＡ，Ｂ，Ｃ，Ｄは繰り返し測定であり、４条件は全て対応しているものとして説明します）

まず、ケース１：ＡとＢのｔ検定。
これはＣとＤは不問にする、と言う意味でしょうか？
ＣとＤを不問とし、純粋にＡとＢを比較するだけなら、問題ありません。

つぎ、ケース２：ＡとＢ+Ｃのｔ検定。
Ｄを不問とし、ＢとＣは一つの条件として比較する、と言う意味でしょうか？
ＢとＣをどのようにして合成するかが問題ですが、例えば（Ｂ＋Ｃ）／２＝Ｅという計算をし（つまりＢとＣの平均を新変数Ｅとする）、ＡとＥの差をｔ検定すると言うのなら、大丈夫でしょう。

つぎ、ケース３：ＢとＣのｔ検定。
これはＡとＤを不問にするのでしょうか？
ＡとＤを不問とし、純粋にＢとＣを比較するだけなら、問題ありません。

最後に、ケース４：Ａ＋Ｂ＋ＣとＤのｔ検定。
これもケース２と同じように、（Ａ＋Ｂ＋Ｃ）／３＝Ｆと言う計算をし、ＤとＦの差をｔ検定すると言うのなら、大丈夫でしょう。

ただし、上記のようなやり方をしてしまうと、多重性の問題は避けられますが、データの収集方法（つまりデータの妥当性）に問題が出てきてしまいますので、普通はやりません。また、Ａ，Ｂ，Ｃ，Ｄが繰り返し条件でなければ、上記のような姑息な計算も出来ません。

先にhirosan777さんがご指摘くださっているように、このように条件が３つ以上ある場合は、分散分析と多重比較の組み合わせで差を見る方法が無難な気がします。

補足

ご指導ありがとうございます。
質問内容に，もう少し,補足をさせてください。
育児をしている母親のストレスを,質問紙で,調査を行いました。
先行研究で，
"育児・家事以外で，仕事や趣味など，なにか自分のやりたいことをやっている人は，
仕事．家事だけを行っている人より，育児ストレスが少ない。”
というものがあり，質問紙で調査を行いました。
・育児ストレス尺度と，
・家事・育児以外に，何かやっているかについて，
　　　Ａ）なにかやっている
　　　Ｂ）やってはいないが，やりたいことがある。
　　　Ｃ）やっているし，他にもやりたいことがある。
　　　Ｄ）家事・育児以外にやりたいことはない。
の４群に分けました。
この４群で，差があるかどうかでしたら，分散分析だと思うのですが，
選択肢をみていただくとわかりますが，
やれるやれない以上に，母親としてではない個人としての活動欲求のあるなしが，
感じられるのです。
そこで，母親自身が感じている個人の活動欲求のあり方を以下のように解釈しました。
ケース１：ＡとＢのｔ検定（十分に，みたされている　-　まったく満たされていない）
ケース２：ＡとＢ+Ｃのｔ検定（十分に，みたされている　-　やりたいことがある）
ケース３：ＢとＣのｔ検定（まったく満たされていない　-　活動欲求が強い）
ケース４：Ａ+Ｂ+ＣとＤのｔ検定（活動欲求がある　-　活動欲求がない）
というふうに，条件ごとに，
ストレスの強さを比較できないかと思いました。
なお，たとえばＢ+Ｃであれば，対象を単純に合計しています。
　ますます，わかりにくくなったかもしれませんが，よろしくお願い致します。

回答No.1

hirosan777

お答えになっているかどうか、不安ですが・・・私なりの解釈を。

私は、分散分析の特殊形が、ｔ検定だと解釈しております。ですから、２群の検定の場合は、ｔ検定を用い（３タイプありますね）、それ以外は分散分析を使う。

つまり、このケースですと分散分析を用いて分析する方が、無難かと思います。

ただし、ケース１、ケース３についてはｔ検定で良いと思います。しかし、ケース毎に、ｔ検定を使ったり、分散分析を使ったりというのでは、論文になった際、統一性の問題で好ましくないようにも感じます。

私の感覚では、ケース４で分散分析+多重比較のみで良いような感じもしますけどね。研究内容や、どのような内容か分かりませんから、この程度しかお答えできませんが（＾＾；

補足

ご指導ありがとうございます。
質問内容に，もう少し,補足をさせてください。
育児をしている母親のストレスを,質問紙で,調査を行いました。
先行研究で，
"育児・家事以外で，仕事や趣味など，なにか自分のやりたいことをやっている人は，
仕事．家事だけを行っている人より，育児ストレスが少ない。”
というものがあり，質問紙で調査を行いました。
・育児ストレス尺度と，
・家事・育児以外に，何かやっているかについて，
　　　Ａ）なにかやっている
　　　Ｂ）やってはいないが，やりたいことがある。
　　　Ｃ）やっているし，他にもやりたいことがある。
　　　Ｄ）家事・育児以外にやりたいことはない。
の４群に分けました。
この４群で，差があるかどうかでしたら，分散分析だと思うのですが，
選択肢をみていただくとわかりますが，
やれるやれない以上に，母親としてではない個人としての活動欲求のあるなしが，
感じられるのです。
そこで，母親自身が感じている個人の活動欲求のあり方を以下のように解釈しました。
ケース１：ＡとＢのｔ検定（十分に，みたされている　-　まったく満たされていない）
ケース２：ＡとＢ+Ｃのｔ検定（十分に，みたされている　-　やりたいことがある）
ケース３：ＢとＣのｔ検定（まったく満たされていない　-　活動欲求が強い）
ケース４：Ａ+Ｂ+ＣとＤのｔ検定（活動欲求がある　-　活動欲求がない）
というふうに，条件ごとに，
ストレスの強さを比較できないかと思いました。
なお，たとえばＢ+Ｃであれば，対象を単純に合計しています。
　ますます，わかりにくくなったかもしれませんが，よろしくお願い致します。