評価者により採点に差が出ることの不公平を避ける方法について

質問

複数の評価者が分担して採点を行うと、各人の評価基準が違うため、採点に差が出ることはあたりまえだと思います。しかし、その結果を点数順に並べてランク付けする際、不公平さを避ける方法があるでしょうか？
いろいろネットで調べてみたところ、標準偏差を利用した格差調整があるようです。どのようにすればよいのでしょうか？　教えてください。どうぞよろしくお願いいたします。

例えば、6名の審査員がそれぞれ5名の審査を行い、その審査点を高い順に並べて評価を決めるのですが、審査員により、点数のつけ方に差がありすぎるので、格差調整をしてから評価をしたいというような場合に利用できる方法です。

回答No.4

neKo_deux · ベストアンサー

> 母集団がどれくらいの規模だと格差調整してもいいのでしょうか？

こちらは統計学の考え方で、誤差どれくらいとか有意差どれくらいとかで説明できるハズですが、統計は…失念。

> 審査員が15～20名で、母集団が700以上の場合、

感覚的には、これくらいの数ならそれほどバラつかない気がします。

--
> また、おっしゃるとおり、判断基準が違わないような方法を導入したいのですが、評価対象が記述されたものなので、難しいのかなと思います。

でしたら、事前に20名の審査員に10枚の全く同じ内容の回答(コピー)を採点させ、
ある審査員Ａは平均80点の答案を平均で88点と採点した。
ある審査員Ｂは平均80点の答案を平均で72点と採点した。
…
などから調整のためのパラメータを決めておくとかって方法もあります。

お礼

また回答いただきありがとうございます。あらかじめ調整のためのパラメータを決めておくことなど新しいことを教えていただけるので、本当に感謝しております。調整にむけて動きたいと思います。

回答No.3

sunasearch

#1です。

>母集団がどれくらいの規模だと格差調整してもいいのでしょうか？

人数が多くなっても、申請者順などに振り分けると、やる気のある人たちが固まる可能性があります。

つまり、母集団の規模の問題ではなく、各審査員の先生に、それぞれ同程度のレベルの被審査者が割り当てられることが、妥当な格差調整を行なえるための必要条件となります。

何らかの個人情報から、年齢や、性別、他の能力などの条件が、できるだけ均等になるように、各審査員の方に被審査者を割り当てればよいかと思います。

お礼

また教えていただき、ありがとうございます。出てきた結果だけを調整すればよいかと思っていましたが、被審査者の振り分けから調整していかなければならないんですね。勉強することばかりですが、親切に教えていただけるので、本当に助かります。ありがとうございます。

回答No.2

neKo_deux

> 6名の審査員がそれぞれ5名の審査を行い、

この母集団の数だと、たまたま成績の良い5人を一人の先生が担当し、格差調整の結果、成績が低く評価されてしまうような事が考えられます。
格差調整は妥当な方法だとは考えられません。

> 各人の評価基準が違うため、採点に差が出ることはあたりまえだと思います。

マークシート方式など、各人の判断基準が違わないような方法を導入しては？

お礼

回答ありがとうございます。
なるほど、母集団の数が少ないと調整すると　かえって問題がでてしまうのですね。勉強になります。
母集団がどれくらいの規模だと格差調整してもいいのでしょうか？　
審査員が15～20名で、母集団が700以上の場合、妥当な方法と言えるでしょうか？
また、おっしゃるとおり、判断基準が違わないような方法を導入したいのですが、評価対象が記述されたものなので、難しいのかなと思います。

回答No.1

sunasearch

簡単な方法として、

各先生ごとに、その先生がつけた点数を、偏差値に直せば、正規化されます。

参考URL：

http://ja.wikipedia.org/wiki/%E5%81%8F%E5%B7%AE%E5%80%A4

お礼

さっそく回答いただき、ありがとうございました。教えていただいたURLを参考にしながら、考えてみたいと思います。