統計 有意差検定について教えてください

質問

２つのちがうレベルのグループに同じアンケートをとりました。全部で２１項目です。それぞれの項目についての回答に
よくできる４点、ちょっと難しいができる３点、あまりできない２点、できない１点　として平均値をだしました。各項目について、２つのグループの平均値に有意差があるかどうか調べることはできますか？
よろしくお願い致します。

回答No.2

vzb04330

心理士で、元大学の教員です。

No.1の方が書いていらっしゃるように、このデータが平均値を比較する意義があるかどうかについては、きちんと考えてみる必要があるでしょう。

ご質問内容については、「2つの違うレベルのグループ」とあるうち、「レベルが違う」というところが何を意味するのか、よく分かりませんが、「2つの異なるグループ」であるとすれば、「対応のないt検定」という方法が使えます。

アンケートに使われた回答方法を拝見しますと、「評定尺度法」を用いていらっしゃいます。
評定尺度法は、尺度水準の分類でいえば、厳密には「順序尺度（数値に、順序性だけが保証されているもの）」ですが、実際には、「間隔尺度（数値同士の差は、等しいもの）」とみなして、平均値を求めたり、差の検定を実施するということが行われています。

今回ご質問のような2つのグループのデータは、元となる集団（母集団）からサンプル（標本）を抽出して、母集団に差があるかどうかについて比較をしようとしていますので、このような場合には、やはり、統計的検定を実施する必要があります。
そうでなければ、2つのグループかんでみられた平均値の差が、意味のあるものかどうか、客観的、公共的な基準で判断ができないからです。

ただし、有意差が認められたとしても、その差が心理学的に意味のある差かどうかかは、検定は教えてくれませんので、先行研究や、関連する理論、知識を動員して考える必要があります。

なお、恐縮ですが、No.1の方が書いていらっしゃる「数字通りに3倍くらいの気持ちの強さになるか」という点は、「比率（比例）尺度（絶対的なゼロがある尺度。重さ、長さなど）」のみに当てはまることですから、心理尺度ではあり得ないことを述べておられ、間違いです。

それから、こういう調査を計画する段階で、どのような統計分析が可能か、あるいは、必要可についても、事前によく考えておくことが必要であり、重要ですから、そのこともお忘れなく。

お礼

vzb04330様
詳しくご回答いただきありがとうございました。
おっしゃる通りで計画する段階で統計分析について考えておくことが大切だということ肝に銘じます。
ただ、先行研究では平均値だけだったのと有意差の意味が必要なかったものだったのですが、どのようなときに有意差に意味がでてくるのかがわかりませんでした。もう少し考えてみます。

回答No.1

DJ-Potato

平均値の差の検定を取ることはできますが、それが本当に意義があるかは検討すべきと思います。

各回答がちゃんと数字通りに並んでいるのか
つまり、どちらとも言えない2.5点を中心に、難しいができる+0.5点と、できる+1.5点が、数字通りに3倍くらいの気持ちの強さになるか、という問題

あと、こういうアンケートで全部2か3で答えちゃうタイプの人と、どんどん1や4をつけて2や3をあまり使わないタイプの人と、いますので、その評価はどうするか。

レベルの違いというのが、同じ人の入学時と卒業時、など対応する場合には評価しやすいように思いますが、本当に色んなバイアスが掛かりますので、下手に統計処理しないで平均値の結果だけ出すんでもいいんじゃないかと思います。
まぁ、確かに世の中の人はだいたい数字大好きなんで、p<0.01とか書いてあると簡単に盲信してくれますが。

お礼

DJ-Potetoさん、早速のご回答ありがとうございました。わたしも検定を取る意味があるのかわからなかったのですが、平均結果だけでよいというご意見なのでそうしてみます。