統計：事前、事後テストについて教えてください。

質問

統計初心者です。よろしくお願い致します。
語学の授業の効果を調べるため、実験群と統制群をもうけ、事前・事後テストをして差をみたいと思います。
問題は、事前テストと事後テストの難易度が違うことです。
そこで、実験群と統制群、全員の平均点と標準偏差をだし、事前テストと事後テストについて被験者の偏差値をだしました。
事前テストの被験者の偏差値の平均と、事後テストの偏差値の平均の差を、実験群と統制群で比べるという方法で、効果は調べられるでしょうか。
また、事前テストの偏差値の平均と、事後テストの偏差値の平均の差が有意なものかどうか調べるためには、どうしたらいいでしょうか。
どなたかご回答のほど、お願い致します。

回答No.1

kgu-2

>問題は、事前テストと事後テストの難易度が違うことです。
この点については、マニュアル的な解答はありません。
1) 同じ問題にする。体力テストなら、これでOK。
2) 同じレベルのものを出す。　国家試験や、センター入試、TOFFELなんぞは、これでしょう。

>事前テストの被験者の偏差値の平均と、事後テストの偏差値の平均の差を、実験群と統制群で比べるという方法で、効果は調べられるでしょうか。
偏差値が、大学入試などの偏差値と同じ意味なら、無理です。偏差値に変換すると、その平均値は常に50になるので、差はでません。

　したがって、多くの場合、2)の方法でやっています。同程度と考えられる問題を作り、事前と事後なので、t検定の対応の有る場合、の検定というのが一般的です。

　本学の入試は、平均点が50点になるように問題を作成するのですが、そうは問屋が卸してくれません。『この問題だと、60点かな』と作っても、30点くらいで、『私の授業は・・・』が多くて(ガッカリ)。

補足

ご回答ありがとうございます。
実は被験者を「実験群成績上位」「実験群成績下位」「統制群」の三グループに分けています。（被験者数はそれぞれ8名）
事前・事後テストともに母集団は24名で、それぞれの偏差値をだし、グループ毎の偏差値の平均を事前・事後で比べ、差をみたいと思いました。母集団（24名）のほうが大きいので、グループ8名の偏差値の平均は50にはなりません。偏差値の平均で比べたら、実験群のほうが偏差値の伸びがみられました。本来は同程度の問題で測るべきですが、事後テストのほうが難しく平均点が低いので、このような方法をかんがえました。
これとは別に、そのまま素点の差を実験群と統制群の「対応のない場合の検定」にかけたところ、6つ検定にかけたうちの一つだけに有意差がみられました。この結果もレポートに載せたいと思いますが、別の分析として、偏差値の平均の差も載せてもいいと思われますか？