• ベストアンサー

テストの集計方法に関して

はじめまして。kyo-と申します。よろしくお願いいたします。 早速ですが、質問させてください。 あるテストを Web を利用して出題したのですが、出題方法にミスがあり、その結果が妥当なものなのかを判断しなくてはいけない事態になっています。 本来: 計15問ずつ 5 カテゴリに分けられた問題が存在し、プログラムがランダムに各カテゴリごとに10問を抽出、計 50 問が出題される。 現状: カテゴリごとに問題を抽出するプログラムが働かず、75問全体から 50 問がランダム出題された。 よって、あるカテゴリでは、3問出題された人もいれば、15問出題された人もいる、というような受験者によって出題数がまちまちになる、というミスが出てしまいました。 受験者に結果を見せる際、各カテゴリごとに何点取得したかを教えなければならないのですが、 3問答えた人が2問正解した場合と、12問答えた人が 8 問正解した場合、両者のテスト結果は 75 点である、ということは妥当な判定なのでしょうか。 このような場合、受験結果が公平になるような計算方法は存在しますでしょうか。 現在は、7~15問出題された人に関しての結果は妥当である (出題数が多くなれば確率的に妥当性が出る、と考え)、とし、6問以下しか出題されなかった人の結果には妥当性がない、という判断をしているのですが、いかがでしょうか。 わかりづらい質問かもしれませんが、アドバイスがございましたらよろしくお願いいたします。

質問者が選んだベストアンサー

  • ベストアンサー
  • jamf0421
  • ベストアンサー率63% (448/702)
回答No.2

試料が無限あるいは十分に大きくないので数え上げになり素人には難しすぎですが一応計算して見ます。もっとスマートなコメントをされる方が出てこられたら本コメントはお忘れになって下さい。 前提として一つのカテゴリーの中で問題は等価な難しさとします。(違う問題を解かせる問題点はNo1さんのおっしゃられるとおりですが...) 15問のうち12問正解が出せる人がいたとします。 まず、3問しか解かなかったとします。3問の選択の仕方は15!/12!3!=455です。 0点の確率は3つはずれのものを選んだ場合ですから一通りしかなくて1/455。 1点の確率は二つはずれを選び一つ正解を選ぶやりかたですから、二つはずれを選ぶやり方は3!/2!1!=3、残りは正解の12個の中から1個選ぶやり方12ですから、掛け合わせて36通り。確率は36/455。 2点の確率は一つはずれを選ぶ確率です。はずれの選択の仕方で3!/2!1!=3、残りは正解の12個の中から二つ選択するやり方で12!/2!10!=66、かけ合せて198。確率は198/455。 3点の確率は、全問正解の選択の仕方で、はずれ三つを取り除けて12個から3個選ぶやり方ですから12!/9!3!=220。確率は220/455。 点数の期待値は0*(1/455)+1*(36/455)+2*(198/455)+3*(220/455)=2.4で、当然ですが3に12/15をかけた数字に一致します。 分散は σ^2=(0-2.4)^2/455+36(1-2.4)^2/455+198(2-2.4)^2/455+220(3-2.4)^2/455=0.41 で、これの平方根をとるとσ=0.64になります。相対誤差(問題選択による揺らぎ)は1σで0.64/2.4=0.267(26.7%)になります。 同じ実力の人が7問解いたとします。全部の場合が合計15!/7!8!=6435、4点の確率が495/6435、5点の確率が2376/6435、6点の確率が2772/6435、7点の確率が792/6435となります。期待値は5.6点でこれは7に12/15をかけた数字に一致します。σ^2=0.64、σ=0.7999となり、相対誤差としては0.7999/5.6=0.143(14.3%)となります。確かに3問しかとかない場合より誤差は小さくなります。しかし相当な危険度がありますね。

kyo-1979
質問者

お礼

jamf0421 様 ご回答頂き、ありがとうございます。 かなり複雑な工程が発生するのですね。私の仲間と検討させていただきます。かなり詳細までお教え頂き、ありがとうございました。

全文を見る
すると、全ての回答が全文表示されます。

その他の回答 (1)

  • chie65535
  • ベストアンサー率43% (8533/19399)
回答No.1

>このような場合、受験結果が公平になるような計算方法は存在しますでしょうか。 受験結果が公平になるのは「全員に完全に同一の出題がされた時だけ」です。「カテゴリが同じなら、問題が違っても公平だ」というのは間違いで「妥当性に欠ける、不公平な出題」です。 もし、大学入試のセンター試験(昔で言う共通一次)で「科目ごとの出題数は同じだけど、受験者ごとに問題が違う」としたら「公平」と言えますか?それを「うん。実に公平だ」と言う人が居たら、ここに連れて来てみて下さい。 もし仮に出題アルゴリズムが「意図通りに動いていた」としても(つまり、各カテゴリからちゃんと10題づつ出題されていたとしても)「違う問題が出題された時点で不公平」です。 そういう訳で、出題アルゴリズムにミスがあろうがなかろうが、ハナから不公平な出題がされているので、議論の余地はありません。 どう計算した所で、どう評価した所で「出題方法そのものに妥当性がない」ので「全員、完全に同じ問題にして、出題からやり直す」か「ハナから不公平だと割り切って、非論理的に適当に評価する」のどちらかです。 ともかく「議論の余地なし」です。

kyo-1979
質問者

お礼

chie65535 様 ご回答、誠にありがとうございます。 確かに仰るとおり、 受験結果が公平になるのは「全員に完全に同一の出題がされた時だけ」 というのが根本的に正しいですね。 出題側とよく検討し、今後に生かしたいと思います。 ありがとうございました。

全文を見る
すると、全ての回答が全文表示されます。

関連するQ&A

  • VBとExcelを使って英単語テストプログラムを作るには?

    英単語とその和訳をエクセルシートとして登録し、そこから和訳をランダムに出題して英単語を入力させる。正解なら正解、間違いなら間違いを表示して、新しい問題をランダムに出題させる・・・こんな単純?なプログラムを作成したいです。具体的なソースか、又は参考になるホームページを教えて下さい。よろしくお願いします。

  • テストの解答の書き方

    先日、中学校の国語のテストの長文読解問題で、  問、・・・・・の理由は何ですか、3つあげなさい。         (              )         (              )         (              )  に対して、「 ・・・・・こと 」 という書き方で、解答したところ、 先生が、  「 ”・・・・・こと” と書いた人は不正解、 ”・・・・だから” ”・・・・のため”  は正解とします」  と言われました。 私は、問の表現が ”何故ですか?”なら先生のおっしゃる通りで ”何ですか” なら先生の説明とは逆だと思うのですが? 本当の解答のルール(?)が、知りたく投稿しました。 心がもやもやして、納得できないでいます。 宜しくお願いします。

  • 漢検 四字熟語

    お世話になっています。 週末に漢検の受験を予定しているものです。 四字熟語の問題について質問なのですが、 過去問をやっていると以下のように出題されます。 □■□■□■□■□■□■□■□■□■□■□■ 問1 キ ( 7 )亡羊 問2 11 選択肢がありすぎて迷うこと。 □■□■□■□■□■□■□■□■□■□■□■ この場合、7番が不正解で11番が正解の場合は 11番の得点は得られるのでしょうか。

  • センター試験世界史「強制連行」出題の仮処分申し立て

    02/04産経新聞に 「強制連行を正解とする設問について、歴史的事実に反する不適切な問題で、思想良心の自由を踏みにじられたとして、同問題を採点から除外するよう、受験生が東京地裁に申し立てた」 とあるのですが、仮にこの申し立てが認められるとすると入試はどうなるんでしょう? これまでの出題ミスは出題側がすぐに認めて点数調整していたと思いますが、この場合判断が遅れると入試が終わってしまいます。

  • 一般的なコンピューターに関するテスト

    IT系の人材を採用する際にエクセルやアクセス、サーバーの知識などをどこまで理解しているかを確認したいのですが、そういった本を10冊程度買ってきて、その人が得意だという本のなかから筆記のテストをして正解率で決めようと思うのですが、そんなテストで目安になりますか? あくまでも技術のテストで人間性は人間が見ます。 例)エクセルが得意です という人の場合。 エクセル 中級のテキストを買ってきて そのなかの例題10問中、8問正解したら まあ中級は理解している。ついでに上級テストも10問出して 5問以上正解したら 上級 程度の知識はあると判断する予定です。

  • エクセル:シートを分けての集計・セルの背景色

    エクセルについて、質問させてください。 添付ファイルのような3つのシートを作成したいと思っています。  ※1:テスト結果入力用シート(Sheet1)       ・受験者名、受験科目IDは、ランダムに増加。追記入力していく  ※2:最高点表示用シート(Sheet2)       ・テストを受けた人が、いずれかの科目で欠席したことがあれば、        自動的に名前のセルの背景に色を付ける       ・同点の人がいる場合は、同点の最初の人のみを自動的に表示       ・科目・受験者は、※1の表に追記するにつれ、自動的にどんどん        増えていく"  ※3:個人平均点表示用シート       ・テストを受けた人が、いずれかの科目で欠席したことがあれば、        自動的に点数のセルの背景に色を付ける       ・受験者は、※1の表に追記するにつれ、自動的にどんどん増えていく  利用ソフトは、excel2010ですが、できれば、excel2003でも可能なようにできると ありがたい所です。  必要であれば、マクロを使ってでも、とも思うのですが、できるだけセルの数式等 でできれば、と思っています。 ご教示の程、どうぞ、よろしくお願いします。

  • 集計クエリ

    Accessの資格試験の勉強していますが、練習問題の中に正誤を判断する問題があり、 「集計を行うフィールドに対して抽出条件を設定した場合、データシートビューには抽出条件を満たすレコードのみを集計した結果が表示される」 この答えが「誤り」でした。 でも何が誤りなのかわかりません。 すごく困っています。わかる方どうぞ教えてください。 よろしくお願いします。

  • テスト本番に弱く・・・・

    私立小学校に通う小6の娘をもつ母親です。娘は比較的こつこつと努力をする方で、学校での授業内容はかなり高度なものでも理解はできているようです。テスト勉強の時は学校でやったプリントとその類似問題で復習し、間違えたところは最低でも3回以上は解かせています。単元テストなどは出題範囲も限られているのでほとんどしらみつぶしのような状態で学習し、その段階ではよくできるのですが、いざ本番となると緊張するのか思うように点数が取れません。でも自宅に帰宅してからテストを解かせると本番で間違えた所の殆どが正解できるのです。得に算数の場合です。どうしたら本番でも得点出来る様になるのでしょうか。ご助言をお願いいたします。

  • 人間関係力テストの信頼性、妥当性は?

    質問紙法を用いる際、その質問紙の信頼性・妥当性が十分吟味された上で、それが信用するに値すると判断されたものが、今現在質問紙として使われていると思います。 今回2月12日にテレビ朝日で「テスト・ザ・ネイション~全国一斉人間関係力テスト~」というものが放送されますが、そこで行われる「人間関係力テスト」の信頼性・妥当性はどうなっているのでしょうか?テスト結果が信頼できるだけのデータは、とってあるのでしょうか?

  • 条件を満たす個数に応じて、一定の値を返す方法について

    条件を満たす個数に応じて、一定の値を返す方法について          A   B   C   D   E         問1、問2、問3、問4、結果 1:名前1   ○  ○  ×  × 2:名前2   ○  ○  ○  ○ 3:名前3   ×  ○  ○  ○ 上記のような表があったときに、(○が正解、×が不正解とします) ・4問中4問正解で10点 ・4問中3問正解で5点 ・4問中2問以下の正解で0点 という結果(「10、5、0」のうちいずれか)をE列に返したいと思っています。 COUNTIF関数で○の数を算出し、それに対してIF関数で場合分けするしかないでしょうか? よろしくお願いいたします。