比較数が少ないものに対する5段階評価の付け方

質問

素人的な質問で恐縮ですがお願い致します。

５製品の評価を行っており、それぞれ特徴や機能が違います。
当初、実測値の優秀なものから順に５をつけていく５段階評価をしていたのですが、そうすると評価に偏りが出てきてしまうことに気がつきました。

例えば、消費電力を測ったとして、それぞれの実測値が以下のようになったとします。
　A：13W、B:55W、C:52W、D:54W、E:53W

これを５段階評価をしますと、A は断トツで数値が良いので５をつけても良いのですが、このような５段階評価の仕方では、B と C は差が少ないにも拘わらず、評価は B→１、C→４となってしまいます。
※感覚的には B も C も差が無いという評価にしたいのです。

本来ならば５製品のみでなく、市場に出ている多くの製品を実測して正規分布とみなした評価をするべきかとも思うのですが、今回の調査では少ない製品数でしか測定ができないので困っています。

基準を明確にして点数をつけて行きたいのですが、どのようにすればよいか何か良いアイディアがあればご教示ください。

回答No.6

ORUKA1951 · ベストアンサー

訂正
式A =ROUND(AVERAGE(IF(B9:B38<>0, B9:B38,"")),0)
　　　　　　　　　　　　　　^^^^^^^^^^^^^^^^^^
式B =IF(B9<>"",ROUND((B9-$D$1)/STDEVP(B$9:B$38)*10+50,0),"")
式C =IF(B9>0,IF($D$2="-",100- C9,C9),"")
式D =IF(B9<>0,IF(D9<=$D$3,1,IF(D9<=$D$4,2,IF(D9<$D$5,3,IF(D9<$D6,4,5)))),"")

お礼

返信が遅くなりました。
丁寧なご回答をありがとうございました。
大変助かりました！

回答No.5

ORUKA1951

区切りですが、たいした意味はありません。(^^)
次の文字列部分をtest.csvとして保存してexcelで開いてください。
,,平均値,[式A],
,,値の正負,-,
,,1-2,35,
,,2-3,43,
,,3-4,57,
,,4-5,65,
,,,,
製品,実測値,,偏差値,５段階評価
製品A,13,[式B],[式5],[式6]
製品B,55,,,
製品C,52,,,
製品D,54,,,
製品E,53,,,
製品F,,,,
製品G,,,,
製品H,,,,
製品I,,,,
製品J,,,,
以下同様、３０行分用意する。

式A =ROUND(AVERAGE(IF(B9:B38<>0, B9:B38,"")),0)
式B =IF(B9<>"",ROUND((B9-$D$1)/STDEVP(B$9:B$31)*10+50,0),"")
式C =IF(B9>0,IF($D$2="-",100- C9,C9),"")
式D =IF(B9<>0,IF(D9<=$D$3,1,IF(D9<=$D$4,2,IF(D9<$D$5,3,IF(D9<$D6,4,5)))),"")
これをオートフィルですべての行にコピー

,,2-3,43,　以下については、期待の結果が得られるようにお好きにどうぞ
,,3-4,57,
,,4-5,65,

★とりあえず使えればというだけで、それ以上のもくろみはありません。

回答No.4

osu_neko09

５つの製品が、元の製品Ｘの改良版だとしますと、元の製品Ｘの消費電力が5,000wのときと、60wの時とでは、同じ「E:53W」という計測値でも評価が変わるのは当然だ、ということではないでしょうか？

偏差値を求めているのですから、元のデータのばらつきに拠らず、偏差値55という値は、平均から同じように離れているという意味ですから、区切り点はこのままでも良い、という考え方も在ります。

なお蛇足ながら、＃２さんの示された式は、計測値が小さいほど良い、という５段階評価ですので、計測値が大きいほど良い場合には、以下の式になります。
=IF(B2<=35,1,IF(B2<=43,2,IF(B2<57,3,IF(B2<65,4,5))))

#もひとつ蛇足。openofficeだと、区切りがセミコロンだったと思います。
#=IF(B2<=35;1;IF(B2<=43;2;IF(B2<57;3;IF(B2<65;4;5))))

お礼

>５つの製品が、元の製品Ｘの改良版だとしますと、元の製品Ｘの消費電力が5,000wのときと、60wの時とでは、同じ「E:53W」という計測値でも評価が変わるのは当然だ、ということではないでしょうか？

確かに、数値のバラつきが大き過ぎるようであれば評価結果が変わってきますね。
それは分かるのですが、区切りの根拠がどのように設定されているのかが分からないと思っております。

>偏差値を求めているのですから、元のデータのばらつきに拠らず、偏差値55という値は、平均から同じように離れているという意味ですから、区切り点はこのままでも良い、という考え方も在ります。

＃２の方にご提示頂いた区切り点は、今回の計測において絶妙にに適しており、区切り点はこのまま使いたいと思っております。
５製品の数値はダンゴ状態に固まる傾向があるので、１つでもダンゴから突出したものがあれば、評価点：５（もしくは１）がつき易いように設定されています。
この評価点：５（もしくは１）がつく、35％の区切りなのですが、どのうような根拠か知りたいと思っております。
※よく使われている学力の正規分布では7%と設定されている為。

>なお蛇足ながら、＃２さんの示された式は、計測値が小さいほど良い、という５段階評価ですので、計測値が大きいほど良い場合には、以下の式になります。
=IF(B2<=35,1,IF(B2<=43,2,IF(B2<57,3,IF(B2<65,4,5))))

ありがとうございます。この式の意味は理解できていると思います。

>#もひとつ蛇足。openofficeだと、区切りがセミコロンだったと思います。
#=IF(B2<=35;1;IF(B2<=43;2;IF(B2<57;3;IF(B2<65;4;5))))

ご親切にありがとうございます。
ノーマルのofficeでしたので問題ありませんでした。

回答No.3

ORUKA1951

【訂正】
　今回のデータはたまたま13-55まででしたが、もちろん測定データはそんな範囲とは限りませんから、理想値と最悪値を元に１００点満点に直し、５段階評価の区切り点を指定する必要があります。
　それらは、excelですと、そのシートのどこかに絶対参照で指定できるようにしないと使えません。

お礼

補足頂きましてありがとうございます。

>理想値と最悪値を元に１００点満点に直し、５段階評価の区切り点を指定する必要があります。

無知で申し訳ないのですが、上記はなぜでしょうか。
また、理想値とは論理的な数値ということですと、製品ごとの挙動が異なる為に定める事が難しいと思っています。
質問ばかりで申し訳ないのですが、ご回答頂ければ幸いです。

補足

改めて、再度質問させて頂きます。

評価点の計算式
=IF(C3<=35,5,IF(C3<=43,4,IF(C3<57,3,IF(C3<65,2,1))))

の35,43,57,65という数値の区切り方（根拠）はどういうことなのでしょうか。
ご教示頂ければ幸いです。

回答No.2

ORUKA1951

＞市場に出ている多くの製品を実測して正規分布とみなした
　正規分布を使うのは、サンプル数が少ないときにこそ役に立つので、このくらいの数でも偏差値を計算するとよいのでは？・・というかそのためにある。
　少ないサンプルを正規分布に修正して偏差値を求めて、それを使う。
A2:A6に13,55,52,54,53と入っていたとして
B2に　=ROUND((A2-AVERAGE(A$2:A$6))/STDEVP(A$1:A$6)*10+50,0)
C2に　=IF(B2<=35,5,IF(B2<=43,4,IF(B2<57,3,IF(B2<65,2,1))))
偏差値は、28,56,54,56,55 となり
５段階評価は、5,3,3,3,3 となります。

お礼

ご回答頂きましてありがとうございます。

>正規分布を使うのは、サンプル数が少ないときにこそ役に立つので、このくらいの数でも偏差値を計算するとよいのでは？・・というかそのためにある。

そうなんですか！
エクセルの計算式まで示して頂き、ありがとうございます。
これで点数をつけられそうです。

回答No.1

ur2c

5 段階評価よりも AHP (Analytic Hierarchy Process)
http://ja.wikipedia.org/wiki/%E9%9A%8E%E5%B1%A4%E5%88%86%E6%9E%90%E6%B3%95
を使うと良いかもしれません。AHP で検索すれば、説明はたくさん出て来ます。

フリーソフトもたくさん出ていて、たとえば
http://www.isc.senshu-u.ac.jp/~thc0456/AHP/

お礼

ご回答頂きましてありがとうございます。

AHPという評価の仕方があるんですね。
1対1の比較を繰り返すことにより、主観的な評価が入り込む余地を最小にしているということは理解できました。
確かに今回の調査に向いていそうです。

しかし、実際のところ、既に５段階評価で其々の項目に対する採点を進めており、少なくとも各項目の5段階採点方式を今から引っくり返すのは難しく感じております。
※項目ごとの重みづけの部分にてAHPを採用することはできそうですが。

現状において最も採用されそうな評価基準は、
５製品の平均値を３、偏差が最大（もしくは最小）のものを５（もしくは１）とし、５と３の中間を４とするような方法です。

重ねて質問になり、また方向性が変わってしまって恐縮ですが、上記の評価基準に関して、懸念点などあればご意見を頂戴できれば幸いです。