• 締切済み

被験者間一致度の計算

統計学初心者です。 複数の被験者にある会話がどのタイプであるか1つ選んでもらった結果について、被験者間でどれくらい一致しているかを検証したいと考えています。単に、何パーセント一致したかではなく、κ係数のように、偶然に一致する場合を考慮に入れた一致度の度合を計算したいのですが、そのような評価尺度はあるのでしょうか？（選択肢が2値ではないので、κ係数では評価できないと思っています。） 被験者は5人、会話は100個です。タイプは10種類で、A,B,C,...,Jのような別々の内容であり、数字や言葉で順序や度合い(grade)を表すようなものではありませんし、正解・不正解もありません。 もし、適当な尺度があれば、参考になる図書あるいは論文などをお教えいただけると助かります。（英語の資料でも構いません。） どうぞ、よろしくお願いいたします。

みんなの回答

  • stomachman
  • ベストアンサー率57% (1014/1775)
回答No.1

　本来、測定を行う前に：どういう命題を証明（あるいは反証）するために測定を行うのか。測定データをどんな理論に基づいてどう処理するのか。その処理が妥当であるためにはデータはどんな性質を満たすべきか。等々を見通しておかないと、測定法が設計できません。 　ですが、ご質問の測定法の場合は、詳しい議論をする以前の段階で既に問題点が見えている。まず、「タイプ間の類似度」的な要因を考慮しないといけないでしょう。例えば タイプA: 愉快な会話 タイプB: 楽しい会話 タイプC：笑える会話 タイプD: 面白い会話 てな風に「タイプ」が並んでいたとすると、同じ被験者Pが同じひとつの会話cを分類しても、A,B,C,Dのどれに入れるかはばらつくでしょう。また、ばらつくとは言っても、ランダムに決まる訳ではなくて、既に聞いた幾つかの会話とつい比較して考えちゃうなど、いろいろ余計なバイアスが入ると思われます。これらの理由で、おそらく品質の悪いデータしか取れない。そうして、「被験者間一致度」なる数値をなんとか割り出したとしても、意味がはっきりしなくて算出しただけで終わりになってしまう、という恐れが多分にあるでしょう。 　個々の被験者に、ひとつひとつの会話について、Aに該当するか(Yes/No)、Bに該当するか(Yes/No)、.... と10個ずつ回答を出して貰う方が良いのではないかなあ。そういう試験なら、あまり大きなバイアスは生じにくくなるだろうし、データを扱うに際してもデキアイの「数量化理論」等に乗っかれそうで、「被験者間一致度」と共に「タイプ間の類似度」も定量できそうな感じですし。

note100
質問者

お礼

ご回答、ありがとうございます。 どうも、統計学の問題として質問したのがよくなかったようです。 回答者さまは、恐らく、回答者さまは数学分野にお詳しい方だと思うのですが、κ係数などの被験者間一致度は、あくまでも、ある現象を2人の観察者が観察した場合の結果がどの程度一致しているかを表す統計量であって、仮説の検定をするために計算するわけではないのです。一応、統計量として計算するものなので、統計学の分野として質問したのですが、一致度の計算がよくされる医学あるいは心理学の分野などでお聞きすべきだったかもしれません。 ありがとうございました。お答えいただいたこと、感謝いたします。

  1. カテゴリ
  2. 学問・教育
  3. 数学・算数

関連するQ&A

  • 一致率、一致度を算出するには…？

    現在心理学の卒業論文を書いている大学生です。 日本語と外国語の対を提示して、意味が同じと感じたら○、違うと感じたら×を つけてもらう実験を行い、被験者間の回答の一致率を見ようと考えていたのですが 一致率をどうやって出したらいいのか手持ちの参考書ではわかりませんでした。 あれこれ調べてケンドールのWを知ったのですが、順位尺度ではないので当てはまらないのかなーと 途方にくれています。 なるべくわかりやすく、お知恵をお貸しください。 この参考書を読め！などのアドバイスもお待ちしております。

  • 評価方法の違う下位尺度

    統計に暗い学生です。 量的調査後の統計分析について質問です。 評価方法が５件法と４件法の下位尺度がある場合、どう得点化して分析すればよいのでしょうか？ この評価方法の異なる尺度得点同士の相関係数を出すにはどうすればよいでしょうか？ ご教授よろしくお願いいたします。

  • 対応のない2群の順序尺度の検定法を教えてください。

    対応のない2群の順序尺度の検定は、マン・ホイットニー検定だと思うのですが、次の場合はどう考えたらよいのでしょうか？ 介入後の臭気の程度を順序尺度で評価するときに、個人差を考え、2名で評価しました。2名の評価値の平均を分析に用いるとき、検定はマン・ホイットニー検定でしょうか？ それとも順序尺度だけれど平均値を使うのでｔ検定となるのでしょうか？ 統計学は、難しくてなかなか理解できなくて困っています。すみません。初心者にわかるような内容で解説していただけないでしょうか？ 順序尺度は、非計量データであることを考えると平均値を用いること自体がナンセンスという気がします。しかし臭気という感覚を評価するとき、個人の感覚に左右されるものであるので2名か3名の平均値を使った方がいいように感じます。ここもわかりません。 どなたかぜひとも教えてください。お願い致します。

  • 確認的因子分析におけるパス係数の解釈

    現在修士論文に取り組む大学院生です。 統計に関して本当に稚拙な私ですがどうかご教授お願いいたします。 修士論文では尺度の開発を行っております。 そこで確認的因子分析を用いたのですが、 標準化推定値の結果で、ある因子の下位尺度に対するパス係数が １．２０になりました。 本来ならば０～１の間を取るはずなのに。これは不適解ですか？ またどうしてこのような数値が出たのか原因がわかりません。 どうかご教授ください。 よろしくお願いいたします。

  • 物事の順序を答える問題について，解答の適切な評価をするにはどうしたらよ

    物事の順序を答える問題について，解答の適切な評価をするにはどうしたらよいでしょうか。 (例)正しい解答を「ａｂｃｄｅｆｇ」とします。 （１）ア)「ｂａｃｄｅｆｇ」もイ)「ｇｆｅｄｃｂａ」もどちらも不正解です。しかし，ア）はｃ以降は当たっているのでア)のほうが数値的に高い評価をしたい。 （２）ウ)「ｇａｂｃｄｅｆ」も不正解である。しかし，ｇの入る順序がちがっているだけで，ａ～ｆの順序性は当たっている（順序性を理解している） このように，順序性を重視して評価したい内容があります。 （１）の場合は，ａ～ｇの位置が当たっているかどうかで点数をつけることができますが，（２）はいろいろなパターンが考えられるので，一律的に数値化して評価できる方法が 統計学上か何かでないものか困っています。自分としては例でいうと，ア）よりはウ）のほうが，正解に近いと考えています。（その考え方が正しいのかどうかも不安ですが） 実際に使うのは，プログラミングの学習において，順序を考える問題を事前と事後に行い，物事を順序立てて考える力が付いたかどうかの変容を見たいと考えています。 できるだけ，わかりやすい方法があればありがたいです。また，Excelを使っての評価・集計を予定しています。

  • AMOS 相関係数が１を超えます

    今ひとつ統計の知識が疎かなまま，AMOSを使わなければならず，ご教示いただきたくお願いします。 ある仮説による尺度を用いて，あるグループにおこなったデータを検証的因子分析で検討しようとしています。 その結果，標準化推定値を求めたところ，ある２つの因子（潜在変数）間の相関係数が1.05となり，１を超えました。 相関係数はー１≦ α ≦ １の値を取ると思うのですが，この原因や対処法などありましたら教えていただけませんでしょうか。 データを取った集団は，35名と小規模で，無作為に抽出した集団ではなく，比較的似通った回答をしているかもしれませんが，こういったことが一因なのでしょうか。

  • 統計に関する質問　2つの値を反映させる方法

    統計に関する質問です。 「能力A」という尺度があるとして、この尺度と他の「能力B」「能力C」との関連性を見たいと思っています。 「能力A」は2つの要素によって決定されます。それを仮に「要素A」「要素B」とします。 それらは5段階で評価されます（順序尺度　5段階)。 いくら「要素A」が高い点数であっても「要素B」が低ければ、「能力A」は高くなりません。 一番良いのは「要素A」も「要素B」も満点の場合となります。 この場合「要素A」と「要素B」を反映させ「能力A」を判断する方法はあるのでしょうか？ 25通り？の組み合わせがあると思うのですが、それらが個別に点数化されるような統計的な手法というのがあるのでしょうか？ 統計が苦手なのでめちゃくちゃな質問なのかもしれませんが、何卒よろしくお願いします。

  • SPSSソフトを活用した統計分析方法について

    私は、院生で修士論文執筆中です。 量的調査を行い、オリジナルの尺度開発を行い、SPSSソフトを活用した統計分析を学びながら、論文執筆しています。 その際、指導教官が、私に自分の持っている統計テクニックを叩き込むため、私にSPSSソフトを使った様々な分析方法を伝授してくれます。 そして、私がきちんとその技をマスターし、正しい分析が行えているか、指導教官がマスターのデータを使って、全ての統計分析を私と同じように再現試験（検査）を行い、指導教官が導き出した内容と、私が導き出した内容が完全一致するかどうか、検算してくれます。 そこまで、指導教官が自分の労力を惜しまず、職人技である、統計分析のノウハウを叩き込んでくれることに対し、私は、感謝した方が良いでしょうか？ とても恵まれていることでしょうか？

  • 統計学の問題について

    テストで実際に書いた答案なのですが、非常に低い評価が付けられていて 大変困惑しています。学部生の入門科目です。 問題１データの中心の尺度の概要を書け 回答 標本の性質を代表する数値的尺度を統計量という。 中心の尺度には平均、メジアン、モードがある。 平均はデータの値の合計をデータの数で割ったものであり、 メジアンとはデータを大きさ順に並べたとき、真ん中に来る値のことである。 データの数が偶数のときは、真ん中に２つあるので、真ん中２つの 算術平均をとってそれが中央値になる。 まだ、モードは標本のなかでもっともたくさん登場する数値である。 ＜ここは完全に間違えました＞ 図に表した時に右の裾が長い場合は 平均<メジアン<モードの大小関係になり 左の裾が長い場合は モード<メジアン<平均という関係になる。 問２　ローレンツ曲線とジニ係数の概要を書け ローレンツ曲線とは所得・人口・販売高などの 一定グループへの集中度合いを観察できる曲線のことである。 ローレンツ曲線は45度線に近いほど所得分配は平等であり、逆に45度線から 離れるほど所得分配は不平等である。 また、ローレンツ曲線は不平等度や集中の度合いを捉えるのに有用な手段であるが、 それを実用化した指標がジニ係数である。ジニ係数の定義は ジニ係数＝2×（完全平等線とローレンツ曲線に囲まれた面積）である。 ローレンツ曲線が完全平等線に近いほどジニ係数は0に近くなり 逆に完全平等線から離れるほど１に近くなる。 よってジニ係数は0に近いほど平等で、1に近いほど不平等である。 このレベルで100点中何点ぐらいものになるのでしょうか？ 問はそのままで制約（数式を書けとかグラフを入れろ等）はありません。 学部の入門科目です。

  • κ係数を算出した後の分析方法で困っています

    はじめまして。統計に関する質問なんですが、今職場で、新人（2人）と2年目（2人）の能力を調査してます。比較する能力は歩き方の観察力です。20項目の歩行パターンをのせた歩行チャートを使用します。4人の評定者で10名の対象者に歩行してもらい、出現している歩行バターンをチェックしてもらいます。正解はあらかじめ上司5人が協議の上作成しています。κ係数を使い一人一人正解と照らし合わせ、項目ごとの一致率を算出しました。一致率0.6以上を一致率の高い項目としました。予想通り一致率の高い項目数は2年目が多かったのですが。それをｔ検定などの統計を使って比較検討可能なのでしょうか。 新人2人の一致率の高い項目数を足して平均化しても良いのでしょうか。同様に2年目も一致率の高い項目数を足して平均化し，新人と比較しても良いのでしょうか。もしそれが可能であったとしても、被検者の数が新人2人と2年目2人しかいないので統計処理は困難でしょうか。κ統計で出した一致率の高い項目数を足して平均化し、それが新人、二年目の実力と判断し、比較して良いものなのかも良く解りません・・なにか良いアドバイスがあれば教えて下さい。よろしくお願いします。

注目のQ&A

カテゴリ

専門家に質問してみよう

職業から探して質問する

あなたにピッタリな商品が見つかる！ OKWAVEセレクト

質問する