評価者間一致率の解析について

質問

評価者間一致率の解析について、お聞きしたいことがあります。

評価者が固定メンバーで複数名、被験者も複数名の場合、ICCで一致率を測定しました。
しかし、事情により、評価者がばらばらで、毎回違うメンバー2-4名にて行うということになりました。その内の一人はいつも同じです。被験者は30名くらいいますが、これで、評価者間一致率の測定は出来るものでしょうか？
評価者の人数をそろえ、メンバーが違った状態で解析にかけるのはどうなのでしょうか？

お教え頂けると大変助かります。
宜しくお願い申し上げます。

回答No.1

kgu-2

一致率の解析、というと、検定になると想います。
検定の目的は、有意差をしめすこと。すなわち、「差があることを確率で示す」ことであり、一致する＝同じ、とは正反対です。

　ただ、相関は、一致率を示すことに相当するのでは、と思います。
問題は、データが数値、それも間隔尺度、できるなら、比例尺度であれば、統計学的に一致率を計算できるかも。

　気になるのは、何を比較しようとしているのが不明確。というのも、毎回違うメンバー、とか、いつも同じとか、で行き詰っている印象を持ちます。特に、「データがあるので、なんとかして」というのは、「切符をもっているので、なんとか」というのと同じです。
　何をしたいのか、それに適した切符を買って(＝検定法を決めて)下さい。

　最も気になるのが、質問者のなんらかの研究、例えば卒論であること。そうなると、研究者としての倫理違反になるので。これ以上のアドバイスはできません。