サンプルサイズが極端に少ない場合の検定法

質問

２郡の達成度を集計したところ、
（(4)完全にできた　　(3)ある程度できた　　(2)ほとんど出来なかった　　(1)全くできなかった）
ケース１．　　　(4)　　　　(3)　　　　(2)　　　　(1)
　　　　A郡　　４人　　　４人　　　１人　　　１人
　　　　B郡　　０人　　　４人　　　０人　　　０人

という結果で、また別の２郡では、
ケース２．　　　(4)　　　　(3)　　　　(2)　　　　(1)
　　　　C郡　　３人　　　１人　　　２人　　　２人
　　　　D郡　　１人　　　１人　　　３人　　　０人　　
という結果になりました。これだけサンプルサイズが少なくても、比率の差や代表値の差を検定して、２郡の達成度の比較は可能でしょうか？
可能であれば、どのノンパラメトリック検定がよいでしょうか。

　あまりにサンプルサイズが少ないので、(4)と(3)、(2)と(1)をまとめて、
２×２のフィッシャーの正確確立検定を採用する事も考えています。

　一つ一つのサンプルサイズはとても小さいのですが、比較する２郡の数はかなり多いので、どれか一つでも有意水準に達すればいいと考えています。
　統計に関して全く無知なのですがよろしくお願い致します。

回答No.2

kgu-2

>比率の差や代表値の差を検定して、２郡の達成度の比較は可能でしょうか？
動物実験では、1群3匹、2群で6匹あれば、t検定によって可能。人では、「よほどうまくやらないと困難」と、もっともらしく書けても、理論的というより空想論的に可能だが、現実には不可能。

しかし、根本的な問題として、何と何を比較したいのか、が混乱しています。
　ケース1は有意差があり、ケース2では認められなかったとき、どのように結論されますか。比較対照する群によって結果が異なる、なんぞは、やってみないと分からない、というその場限りの結果です。いつでも成立する事象を発見するという科学の姿勢・目的に反します。
　それとも、北海道では有るが、九州では無い、なんぞを主張されたいのでしょうか。これは、統計学的には証明できません。
　どらような群と、どのような群を比較したいのか、を明確にして下さい。その場合、群分の基準は、その効果(影響)を示したい項目一つのみ。薬であれば、投与量、投与時間など。

1) B群の人数を増やす。
2) 達成度を点数化し、t検定を行う。点数は、1から4ではなく、0から100点など、幅広く取った方が、有意差はでやすい。
　ただし、t検定はデータが正規分布をしていることが前提なので、U検定が適切かも。ただ、いくらなんでもグルーブが4人では無理。

>(4)と(3)、(2)と(1)をまとめて、２×２のフィッシャーの正確確立検定を採用する事も考えています。
直接確率と想いますが、　
　このままのデータでは、カ10人と4人では、仮にA群10人全員が(4)、B群4人が8(1)でも、有意差があるかどうか。あらかじめ計算してみて下さい。

お礼

回答していただきありがとうございます。ご意見を参考にしてもう一度時間をかけて何か傾向だけでもつかむ方法はないか考え直してみます。
　最初の質問の書き方が悪かったので、一応以下に書き直します。

　データは、数十個の質問からなるアンケートで、(1)回答者の背景を聞く質問数個と、(2)回答者の学習の達成度を項目ごとに聞く質問数十個から成り立っています。
　(1)の背景の違いにより、(2)の質問項目の一つ一つの回答結果に有意差が見られるか検定し、どの項目に有意さが見られるか調べようと思っていました。

例　A郡　学習時間x時間未満　　B郡　学習時間x時間未満　ではどの分野の達成度に有意差が見られるか。

　しかし、（完全にできた、ある程度できた、ほとんど出来なかった、全くできなかった）
の４段階で自己評価してもらい、A郡とB郡の2郡に分けて比較するはずが、半数のアンケートを５段階にしてしまい、４段階の結果と５段階の結果を合わせて検定する事が出来なくなり、サンプルサイズが半減してしまったのです。
　４段階のものをA郡とB郡に分けて質問項目ごとに検定し、５段階のものもA郡とB郡に分けて(2)の質問項目ごとに検定し、両者の結果から何か見えてこないかと考えて質問しました。

　おっしゃる通り、科学の姿勢に反するものだったと思います。回答していただいたことから、項目ごとの比較は難しそうなので、A郡とB郡で、(2)の全質問に対する回答に有意差が見られるか検定する方法を考えたいと思います。
　長くなりましたが、詳しくお答えいただきありがとうございました。

回答No.1

backs

どちらのケースにおいてもフィッシャーの正確"確率"検定を行えばよいのでは（なぜ問題があると思ったのでしょう）？

データをとった後に「実はサンプルサイズが小さかったのでまとめて集計しました」というのはあまりおススメできることではありませんね（ある人は都合のいいように後からデータを作り直したのだろうというかもしれません）。

実験（あるいは調査）の結果として得られたデータなのですから、そのまま適切な統計手法を適用すればよいのです。その結果に妥当性があるかどうかは、あなたが上手く説明して納得させるか、そうでない場合でも（妥当でないのであれば）次の実験ではもっと多くのデータをとるべきだという問題が発見できたとするべきでしょう（現実的に十分なサンプルサイズが得られないことは多いのですから）。

お礼

遅くなりましたが、ご回答いただきありがとうございます。
　データをまとめたりせず、そのまま統計するようにします。
フィッシャーの正確"確率"検定は知らなかったので、調べてみます。