統計に関する質問です。

質問

ある評価を２つのグループにしてもらいました。
そのグループの評価の一致度を調べたいと思っていますがどうしたら良いでしょうか？（たぶんカッパ係数を出すべきと思っているのですが。）
ある２つのグループに各1５人ずつ評価者がいます。
評価の項目は10項目あって、それぞれの評価の平均からグループ評価としての平均値を出しました。
その２つの評価の平均値を比べて一致度を出したいのですが、どうしたら良いのかわかりません。
検索してすぐに見つけられたhttp://www.mizumot.com/stats/kappa.htmを参考にしてやってみましたが、ここでの評価はABCで、ABCの各個数で一致度を見ていると思います。
私の評価の値は2.6だの3.7だの、５段階評価で行ったものの平均なので小数点があり、何評価が何個という数え方はできません。この場合カッパ係数を出すことは不可能でしょうか？
ここのデータの一致度を見るのではなく、平均の値の比較をして一致度を測るにはどうしたら良いでしょうか？
ちなみにデータは。。。
評価グループ1の平均が
3.6
4.4
2
4.3
4.3
3.1
4.4
4
3.1
3.4
評価グループ２の平均が
2.8
2.9
2.4
3.1
2.9
3.5
3.4
3.4
3.8
3.4
です。どうしたらいいのでしょうか？ものすごく困っています。
一致率が出たあとのデータの読み方も含め、どなたかご存知の方、至急お教え願います。
よろしくお願い致します。

回答No.3

kgu-2

一致度の前に、各項目が何か分かりませんが、「項目毎に有意差は無いのか」と突っ込みたくなります。もちろん、有意差の検定が意味があるのかどうかは、分りませんが。

　また、10項目で一致する、というのも、私には理解できません。「10項目全体でなく、どの項目が一致するの」と突っ込みたくなります。項目ごとに有意差検定ができそうな雰囲気があります。

　統計学的方法では、10項目全般について多重比較をやり「有意差があった」という結論を求めるのが普通です。というわけで、なにかしら違和感を捨てきれません。
　統計の専門家などにご相談された方が良いと想います。

回答No.2

kgu-2

>どちらも3.4なのだから評価は一致していると言うことになりますよね？
A社とB社の時計を10個ずつ、時計の時刻を調べた。10日後の時刻は、平均すると同時刻だった。「両社の時計は、どちらも同様に正確」ということにはなりません。B社は、10分進んでいるものと10分遅れているものが5個ずつだったら、・・・。
　これは、データをどのようにして得たのか、特に平均することに意味がある場合(＝代表値として扱える)に限ります。時計の場合は、分散も考慮する必要があります。

>Aグループの評価が4.4
少数点があるので、大丈夫だとは思うのですが、順序尺度は平均するのは誤りでしょう。4.4と書かれているので、比例尺度でしょうから、平均はできます。でも、平均した値が、その集団の代表値になりうるのか、については再検討して下さい。現実には、中央値の方が適する場合も少なくありません。

　一致度については、統計学では「有意差」という単語のように、差があることを一般的に追求します。ただ、相関分析は、一致度として応用しています。実際に、「改良した新しい方法で測定した値は、従来の方法と変わらない」などの証明として、論文でも一般的に見ます。
　平均値について、相関分析をするために散布図を描いてみましたが、一致しているようには見えませんでした。カッパ係数というのを知りませんが、相関分析なら、比例尺度をそのまま利用できます。

　ただ、統計学は、その性質上、データ数さえ増やせば、有意差がある、とか、一致する、とかはしやすくなります。

回答No.1

kgu-2

データの読み方が分からないのですが、
1)3.6とか2.8とかは,平均なのですか。そうなら、平均前のデータは利用できるのですか。
2)3.6は、グループ2の2.8に一致させようとしているのですか。

　統計学では、「有意差」という単語が頻繁にでてくるように、本来的には差があることを示そうとする手法・目的なので、一致度というのは難しいかも。
　不勉強でカッパ係数というのは知りません。A、B、Cだと利用できるのなら、変換という手法はありますが、書きこまれた数字がどのようにして得たものか不明なので何とも。

補足

お返事ありがとうございました。
1)kgu-2さんのおっしゃる通りです。項目に対してAグループの評価の平均が3.6で、Bグループの平均が2.8です。他の項目も比較しながらその一致度を見たいのです。
表にあるように項目10の評価の平均がAのグループもBのグループは3.4です。どちらも3.4なのだから評価は一致していると言うことになりますよね？それに対して項目２は、Aグループの評価が4.4でBグループの評価が2.9です。こうなると一致してる評価とは言い難いような気がするのです。こういうものを比較して一致度を測る手法があるのかと思っています。いかがでしょうか？教えて頂ければとても助かります。よろしくお願い致します。