• 締切済み

【統計】テストの弁別力について

テスト問題の弁別力について、以下のような場合、どのような統計的処理をすれば弁別力が求められるかを教えてください。 同一の受験者群に対して2種類のテストA,Bを行いました。 テストAの成績の上位グループと下位グループを弁別する能力が、テストB(の項目ではなくテスト全体)にどの程度あるかを知りたいのですが、どのように求めればいいでしょうか。 テストAもテストBも「時間内にできるだけ多く問題を解く」という形式のテストであるため、テスト全体の得点(z-score)を求めることはできますが、項目ごとの正答率は求められません。 項目弁別力を求める方法は点双列相関係数などを調べたのですが、上記のようにテスト全体の弁別力を求めたい場合、しかもほかのテストの成績に対する弁別力を求めたい場合、この式をどのように応用すればいいでしょうか。 大学の研究の一部で畑違いの分野であるため処理の仕方がわからずに困っています。 どうかお教えてください。

みんなの回答

  • backs
  • ベストアンサー率50% (410/818)
回答No.3

> テストAにおいて優秀な成績を取った上位グループのメンバーと、テストBにおいて優秀な成績を取った上位グループのメンバーがどの程度一致するか 「ケンドールの一致係数」というものがあります。 No.2さんの回答にあるように、例えば、心理学分野で古典的な触二点弁別閾や薬理学分野における致死量(LD50)などといった閾値を定めるためにはロジスティック回帰分析が用いられます。ロジスティック回帰分析とロジット分析は同じことです。大まかにいえばロジスティックモデルも同じです。 > 私はまだ統計について全くの初心者であるため、もう少し途中段階の「具体的にこういう操作をする」というところを説明して頂ければ幸いです。 回帰分析の基本を理解していないと難しいでしょうが、ロジスティック回帰分析について分かりやすいものといえば、(日本語のものだけで) 「基礎統計学3 自然科学の統計学」東京大学出版会 8章 丹後ほか「ロジスティック回帰分析」朝倉書店 などが参考になるでしょう。弁別閾の測定に関しては、 岡本康晴「計量心理学」倍風館 が参考になりますよ。

  • hukuponlog
  • ベストアンサー率52% (791/1499)
回答No.2

ロジット回帰分析で行けるでしょう。 p=1/{1+exp(-z)}としたロジット曲線の指数関数内の一次式の傾きのχ2乗値を出して、それが統計的に有意かどうかを判定すれば弁別能力の有無は出せると思います。

shien33
質問者

補足

hukuponlog様 ご回答ありがとうございます。 申し訳ありませんが、私はまだ統計について全くの初心者であるため、もう少し途中段階の「具体的にこういう操作をする」というところを説明して頂ければ幸いです。 私が現在参照しているテスト分析に関する資料には 「ロジスティックモデル」というモデルが載っているのですが、 ロジット回帰分析というのはこれに関係するものなのでしょうか?

  • backs
  • ベストアンサー率50% (410/818)
回答No.1

おそらく私より詳しい人が出てくるので無視されても構いませんが、、、 > テストAの成績の上位グループと下位グループを弁別する能力が、テストB(の項目ではなくテスト全体)にどの程度あるか という表現の意味がよく分かりませんでした。「上位グループと下位グループを弁別する能力」とはどういう能力なのでしょう?上位か下位であるかは分析者がある基準に従って別けるものではないのですか? > テスト全体の得点(z-score)を求める とありますが、テスト全体の得点のことをz得点というのではなく、標準正規分布に従うようにデータを基準化(標準化)した得点のことをz得点というものでしょう?z得点を求めることは分析をする前提として行うべき行為であって、それ自体は分析方法ではありませんよね。 > 項目弁別力を求める方法は点双列相関係数などを調べた これについても「項目弁別力」という用語の意味が分からないので、少なくとも私には回答できません。 2択問題とかで、正答数=弁別力という意味なのでしょうか。。。

shien33
質問者

補足

backsさま、回答有難うございます。 私も最近かじったばかりでよくわからないのですが、 学力テストや言語テストの統計分析において「弁別力」あるいは「識別力」という概念がよく用いられるようなのです。「項目弁別力」というのも同様のテスト分析の分野の用語です。 > テストAの成績の上位グループと下位グループを弁別する能力が、テストB(の項目ではなくテスト全体)にどの程度あるか というのは、言い換えれば、「テストAにおいて優秀な成績を取った上位グループのメンバーと、テストBにおいて優秀な成績を取った上位グループのメンバーがどの程度一致するか」ということです。 テストAの成績における上位グループとテストBの成績における上位グループがかなり一致したメンバーになっているなら、「テストBという試験は、テストAにおける成績優秀者と優秀でない者を弁別(識別)する能力のある試験だ」といえるそうなのです。 正答数=弁別力という意味ではないです。

関連するQ&A

  • 統計・分析について至急どなたか教えてください。

    卒業論文の統計・分析について初歩的な質問になるのですが、至急どなたか教えてください。 A尺度とB尺度を使ってアンケートを行い、A感情とBコーピングの関連性を調べたいです。 仮説ではA感情が高い人は、Bコーピングに対して積極的に解決する傾向があるのではないかという内容です。 A尺度は5件法、B尺度は4件法の合計点を計算します。 A尺度は6つの領域に分かれています(自己受容、人間不信と真逆の領域尺度があるので単純合計できません)。 B尺度では項目番号により、3つの下位尺度「問題焦点型」・「情動焦点型」「回避・逃避型」に分かれています。 Aの1つの領域に対し、B尺度の3下位尺度との相関を見たい場合、どの分析で行ったらいいのでしょうか? 仮説から見れば、A感情の高い者と、Bコーピングの「問題焦点型」の相関を見るだけでいいのですが、A感情の低い者と「回避・逃避型」など他にも全体的な尺度の相関を見るにはどうすればいいのか、尺度の量が多くので混乱しています。 t検定とかカイ2乗検定とかいろいろありますが、私の場合はどの検定を使えば良いのでしょうか…。 またSPSSを使わず、Excelで統計処理を行いたいと思っているのですが、できるのかどうか教えていただきたいです。 わかりにくい説明かと思いますが、お分かりになる方どうかご指導お願い致します。

  • 因子分析を用いた2つのグループの特徴を比較するには

    Aグループ(300人)、Bグループ(400人)に対して、全く同じ質問(50項目、回答は6段階)をし、AとBのグループの違いを見たいと思いました。そこで、まずそれらの結果(計700人分)について因子分析を行い、3因子を得ました。そこで、各因子毎の項目得点の合計を下位尺度得点とし、それぞれの相関をみました。次に、AとBの差の検討を行うために、各下位尺度得点についてt検定を行いました。また、A、B別の各下位尺度間の相関係数も出しました。これらの結果で、AとBのグループの特徴の違いをみようと思っています。ですが、この方法よりも、A、B毎に因子分析を行った方がより正確に各グループの特徴がわかるのではないだろうかという思いもあります。同じ質問に対するAとBのグループの回答の特徴の違いを見たい場合は、どちらの方法が好ましいのでしょうか。統計は初心者です。ご教示いただきたくどうかよろしくお願いいたします。

  • 熟達度テストと正規分布

    熟達度テストで上位群と下位群に分けて、相関分析などの統計を行うと、当然それぞれのグループは正規分布しなくなっていると思いますが問題ないのでしょうか?

  • 大至急!!統計学の問題

    至急!統計学の課題です。 どなたか教えて下さると嬉しいです。 問題 ある教育方法(A,B,C)の有効性を検証するために次のような実験を行った。 ここで、教育方法が有効である、とはその教育方法によってテストの点数が上昇すること、と考えることにする。 つまり「テストの得点が最も上昇した教育方法が最も有効な教育方法である」と考える。 (1)学習者全員(90名)を対称に事前テストを実施した (2)(1)の結果を用いて90人がほぼ等質になるように30人ずつの3グループ(A,B,C)に分けた。ここでの「等質である」とは「成績の分布がほぼ同じと考えてよい」ということである (3)3つのグループに対して同じ内容を異なる教育方法(A,B,C)で教えた (4)3つのグループに事前テストと同じ内容で事後テストを実施した (5)その他、このデータから読み取れることを自由に述べなさい ※事前テスト、事後テストの点数の表は下にまとめてある。 問 (1)(2)において「3つのグループは等質である」と主張できる理由を説明しなさい (2)3つのグループのそれぞれについて、事前テストの結果と事後テストの結果との関係について分析し、考察を与えなさい (3)3つの教育法について「どの教育法が最も有効な教育方法であるか」について理由をつけて説明しなさい (4)90名全員の中で事前テストにおける点数が偏差値60以上のものを成績上位群、40以上60未満のものを中位群、40未満のものを下位群とする。このとき成績による3つの群と3つの教育法(A,B,C)の有効性(どの教育方法が最も有効であるか)について考察しなさい 補足 グループA           教育方法A 生徒番号 事前 事後 1 18 20 8 90 95 9 43 47 10 29 34 19 89 89 20 26 30 21 33 36 22 28 30 23 79 84 35 49 53 36 78 80 37 26 24 38 45 49 48 95 95 49 52 56 50 59 62 51 36 38 52 66 70 58 88 93 60 76 79 65 67 70 73 36 40 74 15 20 75 94 98 80 66 71 81 39 41 82 17 20 86 89 92 87 69 72 90 67 69 グループB 教育方法B 生徒番号 事前 事後 2 24 35 3 89 100 7 79 98 11 57 78 15 51 74 16 61 88 17 35 48 18 12 23 24 26 38 25 93 100 26 48 56 31 44 53 32 33 43 33 72 93 34 67 88 39 62 83 40 60 83 41 17 28 42 90 100 43 56 73 56 96 99 57 88 98 59 14 23 61 46 58 62 78 90 64 30 38 66 86 98 71 64 78 72 28 36 79 65 88 グループC 教育方法C 生徒番号 事前 事後 4 60 66 5 89 85 6 62 70 12 55 65 13 34 50 14 41 61 27 55 65 28 23 40 29 96 92 30 80 85 44 14 40 45 78 80 46 61 70 47 15 50 53 60 68 54 98 95 55 21 39 63 56 65 67 45 65 68 79 83 69 11 30 70 47 62 76 34 60 77 60 70 78 27 45 83 67 75 84 80 83 85 34 60 88 78 82 89 98 98 です。よろしくお願いします。

  • 適切な統計テストを教えてください。

    疑問に思ったので質問させてください。 例として ある大学の高校別入学者数の統計的な相違を調べる時、ある高校Aと高校B(母数は違う)を調べる場合はカイ2乗で検定で可能ですが、多数の高校からなるリストを統計的に相違が出ないグループに分別するにはどのようなテストが考えられますか? グループA内の高校は相違なし。しかしグループAvsBでは有意義に相違ありのような形で。 クラスター分析になるのでしょうか? リスト内の高校数は統計上に適度に大きいとします(20-50)。 よろしくお願いします。

  • 相関係数と項目数について教えて下さい。

    テストA(項目数80問)とテストC、テストB(項目数40問)とテストCの得点の相関をそれぞれ比べて見たかったのですが、問題数が倍あっては相関係数に影響して問題であると先輩に指摘されました。そんなことは全くしらず実験を既に終了してしまったのですが、このような場合何か解決策はあるのでしょうか? どなたか良い方法をよろしくお願いします。

  • IQテストをした所

    ネットでできるIQテストというのをやってみた所、成績悪かったんですよ。ギリで平均に届いてなかったんです。 「平均的な知能指数をやや下回りますが、普段の生活には問題はありません」と書かれてあったんです。悔しかったので何度か別の問題にチャレンジしたら、疲れてきたのかさらに悪くなっていって。。平均点もとれたけど、酷い時は一番下・・。 ほんのお遊びのつもりだったんですけど、平均以下・・というのがショックで。大人になって、平均やら点数を気にする事ってなかったんですけど、やってみる前は人並みくらいのつもりでいたから凹みました。 問題にはいくつかジャンルがあって、 「文章理解能力」「図形弁別能力」「数的処理能力」「言語能力」「推理推論能力」「図形+推論」「記憶に関する能力」「視覚弁別能力」・・とある中で悪かったのが、 「図形弁別能力」でした。サイコロの展開図が並んでいたり、ばらしたブロックで余分なのを探したり、・・そういうのです。これ得意な人だと、日頃どんな所で役に立ってるんでしょうか? またどうやったら鍛えられそうでしょうか? よきアドバイスをお願いします。

  • 卒業論文の分析について…

    卒業論文の統計・分析について初歩的な質問になるのですが、至急どなたか教えてください。 A尺度とB尺度を使ってアンケートを行い、A感情とBコーピングの関連性を調べたいです。 仮説ではA感情が高い人は、Bコーピングに対して積極的に解決する傾向があるのではないかという内容です。 A尺度は5件法、B尺度は4件法の合計点を計算します。 A尺度は6つの領域に分かれています(自己受容、人間不信と真逆の領域尺度があるので単純合計できません)。 B尺度では項目番号により、3つの下位尺度「問題焦点型」・「情動焦点型」「回避・逃避型」に分かれています。 Aの1つの領域に対し、B尺度の3下位尺度との相関を見たい場合、どの分析で行ったらいいのでしょうか? 仮説から見れば、A感情の高い者と、Bコーピングの「問題焦点型」の相関を見るだけでいいのですが、A感情の低い者と「回避・逃避型」など他にも全体的な尺度の相関を見るにはどうすればいいのか、尺度の量が多くので混乱しています。 t検定とかカイ2乗検定とかいろいろありますが、私の場合はどの検定を使えば良いのでしょうか…。 またSPSSを使わず、Excelで統計処理を行いたいと思っているのですが、できるのかどうか教えていただきたいです。 わかりにくい説明かと思いますが、お分かりになる方どうかご指導お願い致します。

  • 統計処理(差の大きさ)

    統計学初心者のものです。以下の実験を行った場合の、統計処理の方法を教えて頂けないでしょうか。 AというグループとBというグループに同じ処置をしました。処理前と処理後のある値の変化を調べるという実験です。 処理前と処理後の値をそれぞれ3 sampleずつ用意しました。 A(処理前)12,13,14 A(処理後)24,25,26 B(処理前)5,6,7 B(処理前)21,22,23 この場合、A、B共に有為差があるということはTTEST等で処理出来るのですが、「Bにおける差がAにおける差よりも大きい」あるいは「AB共に値が増加したが、Bにおける増加はAよりも大きかった」ということを示したい場合の統計処理法が分かりません。 具体的な方法でなくても、ヒントになるような用語だけでも教えて頂けないでしょうか。

  • 割合同士の比較を加重平均で行う?

    質問です。 A、Bの2グループがあります。2グループの人数はそれぞれ異なります。 クイズを2問出題します。 第1問の正答率 A 80% B 60% 第2問の正答率 A 60% B 30% このとき、A、Bの正答率を対比して全体を100としてどれだけの割合かを知りたいとき、 第1問 A 0.8(Aの正答率)/(0.8(Aの正答率)+0.6(Bの正答率))=57% B 0.6/(0.8+0.6)=43% A:B=57:43 同じく 第2問 A 0.6/(0.6+0.3)=67% B 0.3/(0.6+0.3)=33% A:B=67:33 よって、第2問の方が開きが大きいと考えるようなやり方は妥当なのでしょうか。 私は割合の数字を、割合の数字と割合の数字を足したもので割るという計算に違和感があります。 ただ、誤っているかどうかの判断がつきません。