被験者間一致度の計算

質問

統計学初心者です。

複数の被験者にある会話がどのタイプであるか1つ選んでもらった結果について、被験者間でどれくらい一致しているかを検証したいと考えています。単に、何パーセント一致したかではなく、κ係数のように、偶然に一致する場合を考慮に入れた一致度の度合を計算したいのですが、そのような評価尺度はあるのでしょうか？（選択肢が2値ではないので、κ係数では評価できないと思っています。）

被験者は5人、会話は100個です。タイプは10種類で、A,B,C,...,Jのような別々の内容であり、数字や言葉で順序や度合い(grade)を表すようなものではありませんし、正解・不正解もありません。

もし、適当な尺度があれば、参考になる図書あるいは論文などをお教えいただけると助かります。（英語の資料でも構いません。）
どうぞ、よろしくお願いいたします。

回答No.1

stomachman

本来、測定を行う前に：どういう命題を証明（あるいは反証）するために測定を行うのか。測定データをどんな理論に基づいてどう処理するのか。その処理が妥当であるためにはデータはどんな性質を満たすべきか。等々を見通しておかないと、測定法が設計できません。
　ですが、ご質問の測定法の場合は、詳しい議論をする以前の段階で既に問題点が見えている。まず、「タイプ間の類似度」的な要因を考慮しないといけないでしょう。例えば
タイプA: 愉快な会話
タイプB: 楽しい会話
タイプC：笑える会話
タイプD: 面白い会話
てな風に「タイプ」が並んでいたとすると、同じ被験者Pが同じひとつの会話cを分類しても、A,B,C,Dのどれに入れるかはばらつくでしょう。また、ばらつくとは言っても、ランダムに決まる訳ではなくて、既に聞いた幾つかの会話とつい比較して考えちゃうなど、いろいろ余計なバイアスが入ると思われます。これらの理由で、おそらく品質の悪いデータしか取れない。そうして、「被験者間一致度」なる数値をなんとか割り出したとしても、意味がはっきりしなくて算出しただけで終わりになってしまう、という恐れが多分にあるでしょう。
　個々の被験者に、ひとつひとつの会話について、Aに該当するか(Yes/No)、Bに該当するか(Yes/No)、.... と10個ずつ回答を出して貰う方が良いのではないかなあ。そういう試験なら、あまり大きなバイアスは生じにくくなるだろうし、データを扱うに際してもデキアイの「数量化理論」等に乗っかれそうで、「被験者間一致度」と共に「タイプ間の類似度」も定量できそうな感じですし。

お礼

ご回答、ありがとうございます。
どうも、統計学の問題として質問したのがよくなかったようです。

回答者さまは、恐らく、回答者さまは数学分野にお詳しい方だと思うのですが、κ係数などの被験者間一致度は、あくまでも、ある現象を2人の観察者が観察した場合の結果がどの程度一致しているかを表す統計量であって、仮説の検定をするために計算するわけではないのです。一応、統計量として計算するものなので、統計学の分野として質問したのですが、一致度の計算がよくされる医学あるいは心理学の分野などでお聞きすべきだったかもしれません。

ありがとうございました。お答えいただいたこと、感謝いたします。