統計解析の検定方法が分かりません

質問

統計初心者です。教えてください。
外国語教育の分野で勉強をしています。
２群（A,B)に、まずプリテストを実施して、２グループの均質性
（平均値の差と分散をみました）を確認しました。次にA, Bそれ
ぞれに別々のの教授法をつかって外国語を教えたあと、ポスト
テストをおこなって、教授法による効果の差があるかどうかを
調べようとしています。
１）この場合、ふたつの群の「点数の伸び」をt検定にかければ
良いのでしょうか。
２）１）の検定をおこなったのでは、A群、B群それぞれの点数の
伸びが有意なものであったかどうかを知ることはできないのが気
になっています。A群の点数の伸び、B群の点数の伸び、ならびに
AとBの伸びをいっぺんにみるためには多重比較（Tukey?)をおこな
えば良いのでしょうか。

統計が良く分からず困っています。ご教示いただけますと幸いです。

回答No.3

kgu-2

>多重比較をおこなうことに意味がないと仰っているのだろうと解釈いたしました（違っていたらお赦しください。）
まさにその通りで、検定は、何と何との有意差を主張したいのか、という目的を考えれば、多重比較は、「全体で有意差」しか言えません。
　誰が考えたのか、下らん、の一言で多重比較を片づけけています。難しそう＝『私は賢いのだ』と言うために、としか私には見えません。

　多重比較にする前に、２群の検定で十分だといつも感じます。何を言いたいのか、明確にし、それでも多重比較というのなら、納得しますが。工夫が必要ですが、多重比較なんぞのうっとうしいものを使う必要を感じたことはありません。ただ、論文の審査員は、猫も杓子も「多重比較は」と言ってくるので、『とってもお利口な人が多い』とは感じます。、
　これまで納得したのは、野球の優勝チームは、打率と防御率で推算できるという重回帰分析のみです。

　２群間の検定、すなわち、t検定、F検定、U検定、で練習して、あと単回帰分析、これらをマスターすれば、８割のデータは、処理できます。
　とにかく、データを出す前に、「こんなデータになるので、この検定法を使う」と想定してから、データを集めることに尽きます。

回答No.2

kgu-2

>論文などを見ると、難易度を（できるだけ）揃えた、同じ形式の別問題を使っているケースが多いのですが、そのやり方ではいけないのでしょうか。
教育に対する熱意に、特にきちんと授業の効果を判断するという姿勢には、敬意を表します。が、本人が同じレベルと思っても、根拠は薄弱です。本学の入試問題は、平均点が５０点、というのが目標で、出題者も５０点を念頭に置いて作成しますが、５～１０点くらいの差は珍しくありません。
　統計学を応用すれば、「同一レベルの出題」は簡単にクリアできると考え、７月に発表予定です。

>b) 最初の質問に書いた２）のやり方は良くないのでしょうか？
多重比較で、「有意差有り」になったとして、何が言えるのでしょうか。
多重比較は、全体で有意差がある、という結論になります。というか、それしか主張できません。AよりBが良い、Aが伸びた、など個別のことには論及できません。これは、目的に合った結論でしょうか。
　多重比較は難しそうに見えるので、やりたがる人が多く、『お利口さんね』とは感じますが。というわけで、馬鹿な私はやりません。

　最大の難関は、同一レベルの問題を準備できるか否かです。私なら、学習前にAとBに問題をやらせ、AとBに有意差がないことを確認し(ランダムサンプリングが適正であれば無い)、学習後に、学習前と同一レベルの問題をやらせ、平均点についてt検定をすれば、どちらが優れているか、の判定は可能です。

　７月初旬になれば、「同一レベルの問題を出題する方法は、」くらいで書き込んで下さい。気が向けば、回答します。というより、回答は、既に書き込んであるのですが。
　ただ、回答しても無反応、音沙汰無しの人が増えているので、嫌気がしてきていますので・・・。

お礼

お礼が遅くなりました。再び回答してくださりありがとうございます。

多重比較についての説明もありがとうございました。多重比較で「有意差有り」になったとして、その後にSPSSでいう「その後の検定」で、結局個別の比較をおこなうので、多重比較をおこなうことに意味がないと仰っているのだろうと解釈いたしました（違っていたらお赦しください。）
知らないことばかりで恥ずかしいですが、教えていただいて勉強になりました。ご親切にありがとうございました。

回答No.1

kgu-2

>平均値の差と分散をみました
検定でできるのは、有意差がある、という主張だけ。差が無いことは、絶対に証明できないので、統計学的には不適切。すなわち、両群の平均点が、0.1点でも、0.001でも異なれば、数学的にはイコールではない。すなわち差がある。実際には、このようにする研究者もいるが、統計学的ではない。
　統計学では、ランダムサンプリングを行うのが一般的。そうすれば、学習前の2群の学力は、同レベルと統計学では想定する。

AとBの学習効果の比較は、学習後に同一問題を用いて試験をすれば良い。

>A群の点数の伸び、B群の点数の伸び
学習前と学習後に同一の問題を使えば可。しかし、同一の問題とバレテしまう可能性の排除が不可欠。

どれくらい伸びたか、という学習効果の判定法については、7月に発表予定。既に発表されているかもしれないが。

お礼

回答ありがとうございます。

ランダムサンプリングについてご指摘ありがとうございました。おっしゃる通りです。

まだ少し分からない点があるので、良かったら教えてください。
a) プリテストとポストテストで、同じ問題を使うというアドバイスですが、私の経験ですと「前にやった同じ問題だ」とどうしても気づかれてしまうようです。。。特に読解問題ですと、数ヶ月前（時には１年程度前）に読んだものと同じ内容だと見事にバレてしまいます。論文などを見ると、難易度を（できるだけ）揃えた、同じ形式の別問題を使っているケースが多いのですが、そのやり方ではいけないのでしょうか。

b) 最初の質問に書いた２）のやり方は良くないのでしょうか？

何度も、しかも色々とすみません。もし宜しければ教えてください。