平均値の評価方法が分かりません。

質問

0～1500(msec.)まで自由に動作時間を設定できる
タイマー回路のようなものを考えていただいて、
その設定値をおよそ500(msec.)程度に設定して、
2水準の異なる環境AおよびBで35回ずつ動作確認を行いました。
その結果、
環境A→平均値：502.4(msec.)、不偏分散：0.24
環境B→平均値：502.7(msec.)、不偏分散：0.222
となりました。
この結果、タイマーの動作時間は異なる環境下において
動作の平均値が違わないことを説明してくれ、と言われて検討中です。
ど素人目で見ても数値に殆ど狂いはなく、動作時間は
ほぼ違わないのですが、t検定とやらを
エクセルを使って実行すると、平均値に有意差がある、
という結果が出てしまい、悩んでいます。
統計学の知識が無いのに首を突っ込まされているのが一番の原因ですが、
「数字が近いから問題ないです」とかいう曖昧な回答でなく、
何とか統計的な説明が出来ないでしょうか。

回答No.4

kgu-2 · ベストアンサー

>動作の平均値が違わないことを説明してくれ
　不可能です。
　統計の検定の利用で、最も間違いやすいのは、「差(違い)が無い」という表現です。検定は、「差がある」ことを証明するのに利用します。「差が無い」ことは、証明できません。

　これは、検定の方法は、「差が無い」という仮説を立て、計算すると、この仮説とは矛盾するので、「差がある」という結論を導きます。「差が無い」としう結論を導く方法は、現在の科学ではありません。
　また、平均値と普遍分散が同じでも、データ(サンプル)の数が10では有意差が出ないが、データー数を増やして100などにすると、差を出せる場合も少なくありません。
　端的に言って、「すべてのデータを集めると、差は必ずでます」
　私の場合、1群3匹なら有意差見られないので、5匹、10匹とサンプル数を増やして有意差を出したことがあります。
　逆に言えば、「差が無い」と報告すると、「データー数を増やせ、そうすると差は出る」「別の検定なら出るのでは」と追求されます。これには、誰も反論できません。

　　この場合、35回ではなく、3回くらい測定すれば、差はでないかもしれません。しかし、これは「差を見つけられなかった」だけで、「差が無い」と結論・表現するのは誤りです。「有意差を見出せなかった」との表現は許されますが。
　しかし、現実には、t-検定で差(有意差)があるのですから、これは、「差がある」と結論するのが妥当です。「差が無い」とするのは捏造です。

　以上は、統計学上の話です。

　実際には、予め「平均値が1%以内なら許容する」と決めておくことです。これしか方法は無いでしょう。
　何%にするかは、方針次第で、私の使っている器具では、誤差±0.5%とか0.25%とかの表示かあります。もちろん、この数字が小さくて値段の安い物を購入しますが。

お礼

No.3の方のお礼に書かさせて頂きましたが、
どうも私は統計学の本質を分かっていないため、
差が無いことをやっきになって証明しようと
していたこと自体が間違っていたようです。
また、平均値の±数%の話は、目からうろこでした。
落ち着いて考えたら当たり前のことなのかもしれません。
数字のマジックに踊らされました。
顔を洗って出直します。

回答No.3

at9_am

平均値の差を見る限り、統計的に有意な差があるようです。

「平均値の差の検定」という方法があります。詳しくは↓のurlを見て欲しいのですが、これで計算すると検定統計量は 2.6 程になり、p 値が 0.011 程になりますので、有意に差があることが分かります。

ただし、この検定はあくまで連続の変数を扱うものなので、表示が 1msec. 毎だけであれば、適切ではない可能性があります。

> 環境Aおよび環境Bにおいて、タイマーの出力値は
> いずれの環境下でも502or503で、それ以外の数字は
> 全く出ていません。
とのことですが、もし 1msec.毎であれば、平均値から計算すると環境 A では 502 が 21 回ほど、環境 B が 10 回ほど出ていることになります。したがってタイマーが四捨五入的に表示される場合、502.4msec.は 502msec. に、502.5msec. は 503msec.になりますので、本来 0.1msec.しかなかった差を 1msec.と評価しているので、差を過大に評価してしまうことになります。
したがって差があると評価しやすくなります。

この場合、二項分布的な検定のほうが望ましいと思われますが、成功率の差の検定を用いて計算した場合でもやはり有意な差がありました。

以上のような理由から、統計的には有意な差があると言わざるを得ません。

参考URL：

http://aoki2.si.gunma-u.ac.jp/lecture/Average/t-test.html

お礼

確かに、タイマーの出力値は整数値なので、
差を過大評価するような傾向があるかもしれません。
しかし、少し統計学のHPを眺めていたら
「差がないことを証明することは、不可能」
ということが何となく分かってきました。
(本質的に理解できてはいませんけど)
今回の件を、統計的に処理しようとしたこと自体が
もしかしたら間違っていたのかもしれません。
もう少し、統計学の勉強をしてみます。

回答No.2

goma_2000

> 統計学のHP見ても、もっとばらついていそうなデータが
> 平均値に違いがない結果になっていたりするのを見ると
> もう訳分かりません。

とのことですが、

分散の大きさと平均値の差の関係で決まりますので、分散が大きければ多少、平均値に違いがあっても差が無いということになります。今回のデータでは分散が非常に小さいので、平均値の差があるという結果になったのではないでしょうか。

t検定には等分散を仮定するものとそうでないもの（Welchの検定）があります。等分散性の検定を行い、もし違うと出た場合にWelchの検定を行ってみてはいかがでしょうか。

お礼

等分散性の検定を行い、
Welchの検定も行ってみましたが、
変わらぬ結果でした。
あるがとうございます。

回答No.1

Kon1701

品質管理に関する資料を探してみると載っていると思います。
この動作確認、サンプルをとっての評価ですが、その際に当然、偶然によるばらつきがあります。サンプル数が限られる条件で2つの分布（この場合は環境Aと環境Bですね）に違いがあるか、これを客観的に判断するのが、統計的検定です。分布の違いから、2つの母集団が一致する確率を求め、判断します。
この方法は、たとえば工程の改善による不良品率の低下の効果の有無を判定するのに使います。
この場合、違いがあるのに一致すると判断してしまう可能性もあり、それは検定の際に5％、あるいは1％などで指定します。

もし、統計的な検定で環境AとBとで違いがある、との結果が出たのであれば、それは実際に違いがある可能性が非常に高いです。検定方法に誤りがないか、確認を行っても間違いがなければ、数値の差が小さくても、平均値は違う、ということになってしまいます。

手元に資料がないものですから、本当に差があるのがは確認はできないのですが・・・。

お礼

すいません。素早いレスありがとうございます。
レスとは関係ないことですが、
質問に書いた数値が間違ってまして、
環境A→平均：502.3714286、不偏分散：0.240336134
環境B→平均：502.6857143、不偏分散：0.221848739
でした。(標本数は変わらず)
環境Aおよび環境Bにおいて、タイマーの出力値は
いずれの環境下でも502or503で、それ以外の数字は
全く出ていません。
これでも統計的にばらつく、と言われればもうお手上げですが、
統計学のHP見ても、もっとばらついていそうなデータが
平均値に違いがない結果になっていたりするのを見ると
もう訳分かりません。
何とか平均値に違いがないと言い張れる方法はないでしょうか。