物事の順序を答える問題について，解答の適切な評価をするにはどうしたらよ

質問

物事の順序を答える問題について，解答の適切な評価をするにはどうしたらよいでしょうか。

(例)正しい解答を「ａｂｃｄｅｆｇ」とします。
（１）ア)「ｂａｃｄｅｆｇ」もイ)「ｇｆｅｄｃｂａ」もどちらも不正解です。しかし，ア）はｃ以降は当たっているのでア)のほうが数値的に高い評価をしたい。
（２）ウ)「ｇａｂｃｄｅｆ」も不正解である。しかし，ｇの入る順序がちがっているだけで，ａ～ｆの順序性は当たっている（順序性を理解している）

このように，順序性を重視して評価したい内容があります。
（１）の場合は，ａ～ｇの位置が当たっているかどうかで点数をつけることができますが，（２）はいろいろなパターンが考えられるので，一律的に数値化して評価できる方法が
統計学上か何かでないものか困っています。自分としては例でいうと，ア）よりはウ）のほうが，正解に近いと考えています。（その考え方が正しいのかどうかも不安ですが）

実際に使うのは，プログラミングの学習において，順序を考える問題を事前と事後に行い，物事を順序立てて考える力が付いたかどうかの変容を見たいと考えています。
できるだけ，わかりやすい方法があればありがたいです。また，Excelを使っての評価・集計を予定しています。

回答No.3

nag0720 · ベストアンサー

単純に順序性を評価するだけなら、任意の２個の順序の正誤を調べる方法ではどうですか。

２個の順番が正しい場合は１点、違っている場合は０点とすると、
７個の選択肢の場合は、２個の組み合わせの数は7C2=21ですから、
最高点で２１点、最低点で０点になります。

例えば、「ａｂｃｄｅｆｇ」が正解とすると、
「ｂａｃｄｅｆｇ」は、２０点、
「ｇｆｅｄｃｂａ」は、０点、
「ｇａｂｃｄｅｆ」は、１５点になります。

「ｂａｃｄｅｆｇ」のように隣り合う２個を交換した場合は必ず２０点になりますが、
もし、交換する場所によっても評価を変えたい場合はもう少し工夫する必要があります。

お礼

お礼が遅くなってすみませんでした。
みなさんのご意見を参考に，最終的に次のようにしてみました。

○「その正解の位置」「前後の順序性」の両方に得点を与えるようにする。

正答　abcdef

解答１　abcdef　2+2+2+2+2＝10点
（a～eは順序，場所とも合っている）
解答２　fabcde　0+1+1+1+1＝4点
（fは場所，順序が違うので0点，
　他は場所は違うが順序は合っているので1点）
解答３　bacdef　0+1+2+2+2＝7点

この評価の妥当性は？と聞かれると難しい問題かもしれません。
ありがとうございました。

回答No.2

Kules

とりあえずざっと読んで思ったのは…
「正解の文字と数字を対応させればいいんじゃね？」
ということです。
例えば「abcdefg」が正解なら
a:1,b:2,c:3,…
「adefgcb」が正解なら
a:1,d:2,e:3,…
となります。
で、「adefgcb」が正解の場合
「abcdefg」は「1762345」となります。

この時
・前からn番目の数字がnだったら○点
・n番目よりn+1番目が1だけ大きかったら△点
みたいにして評価できないですかね？
ア)イ)ウ)でア)よりウ)を評価したいのなら
そのようになるように(○より△の方が点が高いように)
重みをつけたらいいのではないかと。

参考になれば幸いです。

回答No.1

FEX2053

こういう時によく使うのは「重み付け評価」です。

例えば「aの次にbが来るなど、正規の順序なら1点」「先頭にaが来たら1点」「順序全てが正しいなら1点」というように、連続性に重みを付けて全て加算するんです。例えば上記の採点基準で「4つの選択肢がabcdの順」が正解だとすると

abcd：5点（上記すべてに整合）
bcda：2点（bc,cdのみ整合）
acbd：1点（a先頭のみ整合）
dbca：0点（全て整合しない）

などになります。関連性が特に必要な場合はその部分に点数を加算すればよく（たとえばbの次にcの場合だけ2点とか）、色々な場面でこの方法が使えます。ちなみに漢字変換も初期の頃は、この重みづけを使って変換していたんだそうです。

補足

回答ありがとうございます。
そのやりかたで，選択肢が少ない場合はすべての組み合わせから重みづけをすることができますが，
選択肢が多い場合（現在９個の選択肢），ある程度パターン化して，あるいは機械的にできますでしょうか。
また，処理する数が８０程度ですが，一人一人の解答を検討するのではなく，Excelの関数などで処理する予定です。具体的には，重みづけをしたテーブルから，得点を参照するようなイメージです。