有意差の検定について

質問

現在ある部品の評価を行っています。

高温に放置して、試験前後で部品が位置ズレを起こさないか？
ということを知るための評価です。

サンプルがあまり用意できなかったため、３個を試験にかけました。
また、サンプル数が少ないと結果の精度に影響がでると考え、
３個のサンプルに対して３回測定を行いました。
擬似的（？）には試験前後で、各９個のデータを持っています。

ところが測定のバラツキが若干大きく、単純な平均を
とるとものすごく位置ズレを起こしたように見えてしまい、
判断に困っています。

以下お教え頂けないでしょうか？

１．９個の少ないサンプル数で、高温放置試験が結果に対して
　　有意であるかを調べたいのですが、
　　有意差の判断をすることは統計的に可能でしょうか？

２．実際にＴ検定を行ってみたところ、Ｐ値が約０．３で有意でないと
　　考えられるのですが、この結果は正しいでしょうか？

統計についてはあまり知識がありません。
よろしくお願いします。

回答No.9

sakasagitsunen · ベストアンサー

digdagさん！　またまたこんにちは！

私は大変な誤解をしていました！

現在ある部品の評価を行っているのでしたね（汗）！　そして、測定のバラツキが若干大きいため、部品ひとつひとつにつき、３回繰りかえして測定によるバラツキの軽減をはかったのでしたね。

☆前回、サンプル数を増やした方が良いと言いましたが（その必要はありませんでした（反省））、そうではなく、サンプルひとつひとつの測定をもっと増やせば（今は３回ですが、できれば１０回以上！　当たり前ですが、測定は同じ人で！）、測定による誤差が軽減され、クリアーな結果が出てくるでしょう！　もしも、可能ならばサンプル数をあと２つ増やせば、さらにクリアーな結果が得られるでしょう！！！

☆測定方法は、繰り返しありの二元配置分散分析です！　ただし、この検定を行ったら、試験前後の有意差（p　=　？　％）と共に、サンプル間の有意差、そして、その二つをミックスした時の有意差も出てくるので、合わせて公表する必要があります！

★結果の解釈ですが、digdagさん自身が、○○mmまでのズレなら、ズレた事にならないと定義しておく事です！！！　ズレが明らかになっても、結果を発表する段階で、各サンプルの試験後のズレの平均と標準偏差を記載する事によって、そのズレは、部品を脅かすズレで無いことが明らかとなるのです。

※どんなに優秀な時計でも、いや優秀であるゆえか、誤差が記載されてますよね。そして、その誤差が数字で記載されているものが、とても信頼されますネ！　

では！　検討を祈ります！

お礼

sakasagitsunenさん、ありがとうございます。
お返事おくれてすみません。

たしかに、まったくズレないことを規格にしていたのでは
設計のしようがないことも事実なので、規格を見直して
いきたいと思います。

ある値までのズレ量は許容する、といった形のほうが
管理もしやすいと思います。
今回の件で、データ分析の重要性が少しわかった気がします。
本当にありがとうございました。

回答No.8

kgu-2

また、続きを書きます。サンプル数についてですが、

サンプル数は、増やすほど、有意差はでやすくなります。極端な場合を想定します。
　全てのサンプルを測定すれば、平均値に差は出るはずです。なんらかの変化が少しでもおこっていれば、元の形にならないからです。平均値に、100万分の1でも差があれば、それは、差があると考えます。すなわち、全てのサンプルを測定すれば、必ず差は出ることを示すことができるのです。
　したがって、サンプル数が増えるほど、有意差はだしやすくなります。

　下の書き込みの繰り返しになりますが、有意差というのは、全てのデータが得られないときに(サンプル数が大きすぎる、蛍光灯の寿命のように測定すると商品が残らないなど)、集団の中からサンプルを無作為に選んで、集団の間に、「有意差がある」ことを示す方法であって、全ての検定法を総動員して、pが0.05より大きくなっても、「差が無い」というのは、統計学上は間違いです。あくまでも「私は、見つけられなかった」としか言えません。

　digdagさんが、全てのサンプルを測定できるなら、高温処理後には、平均値に差があるはずです。1mmてあっても、1μmであっても、相違があれば統計学的には「差がある、すなわち、ずれがある」のです。ですから、「差が無い」というのは、統計学的には証明不可能なのです。

　「差が無い」ことは、現代の科学では証明できません。ですから、現実的には、ずれがいくら以下なら許容する、とするしか思い付きません。有意差自体も、危険率5%以下というのは、5%、すなわち、20回に差があると判断したときに、1回くらいは間違いかもしれないが目をつぶりましょう、ということですから。
　私も「差が無い」ことを証明したくて足掻いた経験がありますが、これができれば統計学がひっくりかえります。統計学の博士どころか、統計学のノーベル賞があれば、当確です。

お礼

ありがとうございます。

あくまでいえる結論は、限られたサンプルの中で、ある確立での
有意差がある／ないということなのですね。

有意差がなんだか水物のように思えてきますが、
そんなものなのでしょうか？
絶対的なもののように捕らえていたのですが。
サンプル数によって判断がちがってくることもあるんですよね。

そもそも有意差の定義自体、ある確立で誤った判断をする可能性が
あるということなのですから、当然かもしれませんね。

ちょっと頭が整理できていないので、いままでいただいた
回答をよく見返してみます。

回答No.7

sakasagitsunen

またまたこんにちは！

『９個のサンプルを用いて、特定の検定を行った結果、有意差を
　見つけることができない』

　　実は、サンプルは３個でしかないのです。そして、サンプル一つ一つの情報（要因）が２つ（試験前後、サンプル内のばらつき）あるのです。
　　９個のデータとは言っても、サンプル内のばらつき（３個）と３つのサンプルのデータとは、別物なので、９個のデータとして同じ土俵の上にのせることは無理があるのです。

　　『あと７個サンプル数を増せば誤差が小さくなるというのはなぜなのでしょう？』

　　軽はずみな発言申し訳ありません（汗）。３個のサンプルでは、異常値が大きく反映されてしまうので、サンプル数を増やすと、検定がより正確になると言う意味です。本当に申し訳ないです（大汗）。参考URLを一通り読んで見て下さい。かなりスッキリする事でしょう。

　　今回、測定誤差（一つのサンプルで３回測定している）を測っていますが、やはりそのデータを取り入れるならば、繰り返しのある二元配置分散分析がベストでしょう！もしも、測定誤差を測定しなければ（サンプル一つにつき、測定１回）、tー検定です。サンプル数は、可能ならば、１０個以上あった方がベストでしょう（参考サイトは、n=30でしたネ）。

ではでは！

参考URL：

http://www.mbanavi.com/school/stat00.htm

お礼

ありがとうございます。

今回のように、取ったデータをつきつめて考えたことは
今まであまりなかったので、かなり勉強になりました。

サイト詳しく見てちょっと頭を整理したいと思います。

回答No.6

sakasagitsunen

digdagさん、またまたこんにちは！

　　F分布とは、処理間の差が有意か否かを判断するために見る分散比（要因A(試験前後)の分散/誤差分散）の分布を示します。このF分布は、母集団が正規分布に従うことが条件です。サンプルが正規分布に従うとの事でしたので、この検定を使えます。
　　ただし、kgu-2さんの指摘は、大変重要です！　これは（tー分布を含めて）、差を見るための検定であって、差が現れなかった事は、これらの検定では差を見ることが出来なかっただけです。ですから、解釈とすれば、『検定（二元配置分散分析）の結果、処理間に有意な差を検出する事が出来なかった。』にとどまります。
　　kgu-2さんが問題定義した「不良品が、高温放置の処理で、何%増加するか？」から、実験計画を練りなおせるとベストですね。これは、御存じのように『どのくらいのズレが、不良品と呼べるのか？』の定義をする必要があります。
　　しかし、直感で、位置ズレが多少起きていると感じているのでしたら（本来は、どのくらいのズレが起きているのかを見たいのでは？）、やはりサンプル数を増やして、精度をます必要があるでしょう（あと、７つ（汗）！）。そうしたら、標準誤差が小さくなりますから！

参考URL：

http://powtech.gs.niigata-u.ac.jp/lecture/qc/F-dist.html

お礼

再度のご意見ありがとうございます。

下のお礼でも申し上げましたが、今回のお話は精度管理でなく、
規格だとお考えいただければと思います。
私自身はズレは生じないと思っていますので
なんとかズレのないことを証明したいのです。
（もし規格をクリアできない場合、設計を変えないと
　いけないので非常にめんどくさいのです。）

お話を伺っている限りでは、
『９個のサンプルを用いて、特定の検定を行った結果、有意差を
　見つけることができない』
という、特定条件での結論しかでないようですね。
他にも証明方法があればいいのですが。

もうひとつお教えいただいてよろしいでしょうか？
あと７個サンプル数を増せば誤差が小さくなるというのは
なぜなのでしょう？

回答No.5

kgu-2

回答N0 4の続きを

ご質問に対する、私の直接の回答は

ご質問　1
　統計的には、可能です。サンプルは、正規分布すると想定されるので、t検定で支障ありません。正規分布が気になるのなら、F検定を用いれば良いでしょう。

ご質問　2
　p値が0.3なので、有意差は無い、というご判断には間違いありません。
　ですが、優位差が無かったからといって、統計学的には、「違いが無い」「差がない」という結論を出すのは誤りです。
　極端に言えば、他の人が測定し、新たな検定法を用いれば、有意差を見つけることができるかもしれないからです。もっと簡単には、腕の悪い人が測定すれば、データはバラツクので、有意差は出せません。

お礼

ありがとうございます。

ちょっと無理があるかもしれませんが、
測定する人を固定して、すべての検定法をためせば
「違いがない」という結論を出すことは可能ですか？
（かなりひねくれた考えですが。）

回答No.4

kgu-2

統計の使い方に、誤りがあるような気がします。

>高温に放置して、試験前後で部品が位置ズレを起こさないか？
　統計学で証明できるのは、「ズレテイル」と判断すると、その判断の誤まっている確率（危険率といいます）が何%以下であるか、ということです。
　digdagさんが示したいのは、「ずれている」ことではなく、「ずれていない」ことのような気がするのですが、違っていますか。たとえ、危険率が0.01以下であっても、「ずれていない」という証明にはなりません。

　「両群に、差がない」という仮説(帰無仮説)を否定する、その仮説は95%以上(または99%以上)の確率で間違いである、との計算結果から、「差がある」ことを証明するのが検定であって、差がないことは証明できません。統計学は、「違っている」とことは示せても、「差がない」「違っていない」という証明には利用できないのです。
　p値が0.3であれば、「有意差は見られなかった」と判断します。しかし、差はない→位置ずれはない、ということにはなりません。端的に言えば、別の検定法を使えば、差を見つける可能性を否定できないからです。

　むしろ、精度管理の問題ではないでしょうか。処理前のものが、無限大のサンプルで、10±1であれば、10±2の間に95%のものは入ります(実際には、測定したサンプル数によって、母集団の平均と標準偏差を計算する式があったはず)。この範囲に入らなかったものを不良品と判断される方が現実的ではないでしょうか。
　「不良品が、高温放置の処理で、何%増加する」、これをどう処理するか、との判断ではないでしょうか。

　それから、同一サンプルでの測定のバラつき、については、これが大きいようだと話になりません。どちらが大きいのは、はF検定の群内のバラつきと群間のばらつきで考えられそうですが、F検定はほとんど手を出したことがないので、ピント外れかもしれません。

　何をさなさりたいのか、私がずれて解釈していたら、ご容赦を。

お礼

回答いただきありがとうございます。

背景から申し上げますと、この環境試験は設計値として
クリアしなくてはならない『規格』であり、
精度管理ではありません。
ですから、もしズレていれば、部品仕様を変えて、規格を
満たす必要があるのです。

確かにご指摘のとおり、同一サンプルにおいて、測定のバラツキが
大きいため、測定の信頼性に欠けるのですが、統計の力を借りて
ずれないことの証明ができないかなと考えた次第です。

何かうまい方法はないものでしょうか？
測定の精度を上げる、サンプル数を増やす、などの策が
ありますが、いずれもコストや時間が必要なため、
すぐに対応が取れません。

せめて今現在持っている結果から、信頼できる結論が
導き出せれば周りを納得させられるのですが・・・。

また何かアドバイスあればぜひいただけませんでしょうか？

回答No.3

sakasagitsunen

digdagさん、こんにちは！

この場合は、『繰り返しのある二元配置分散分析』がおすすめです。

一個のサンプルで測ったという行為で得たデータ３つは、『反復が３つ（繰り返しが３つある）』を意味しています。

そして、【試験前後（要因が２つ）】と【サンプル間（要因が３つ）】が部品の位置ずれに与える影響を見ます。

http://aoki2.si.gunma-u.ac.jp/lecture/TwoWayANOVA/TwoWay2.html

↑上サイトの表１を参照して下さい。横の５つの水準（年齢）の代わりに２つの水準（試験前と後）、縦の４つの水準（四季）の代わりに３つの水準（３つのサンプル）が入るわけです。中のマス目には、サンプルごとの反復データが入ります。

さて、実際には、参考URLの二元は位置分散分析（エクセルファイルをダウンロード）を使用するか、エクセルにもともと入っている『繰り返しのある分散分析』を使用すれば計算されます。なお、参考URLの方が簡単です。シートは、『繰り返し＞２』を選択し、そこの観察値にデータを入力し、要因１には、試験前は１後は２と記入し、要因２には、３つのサンプルで１、２、３と番号を付しておきます。

では検討を祈ります。

参考URL：

http://aoki2.si.gunma-u.ac.jp/lecture/stats-by-excel/vba/html/TwoWayANOVA.html

お礼

回答ありがとうございました。
早速ためしてみました。結果はモデル(2)（変量モデル）を読めば
よろしいでしょうか？

また、ちょっと調べたのですが、分散分析は結果がＦ分布に
したがっていることを利用する、とサイト内に解説がありました。

今回のデータの性質を考えると、正規分布になるのではないかと
思うのですが、検定に分散分析を使うことは可能でしょうか？

お手数ですがもう一度教えていただけませんか？

回答No.2

selfer

No1さんが言われたように「対応ありの二群間の差の検定」をした方がよいと思われます．以下補足です

・「対応あり」とは

　─────────────────────
　　装置番号　１　２　３　４　５　
　─────────────────────
　　試験前　　51　48　51　52　45　　←　条件Ａ群
　─────────────────────
　　試験後　　60　58　58　63　70　　←　条件Ｂ群
　─────────────────────
　　差　　　　-9 -10 -7 -11 -25
　─────────────────────

のように，条件Ａ群とＢ群とで同じ同じ装置や人からデータをとることです．この場合，高温放置前の「位置」と高温放置後の「位置」との差が有意に異なるかの検定を行います．

・代表的な「対応あり二群間の差の検定」

最も有名なものが「対応ありｔ検定」です（無論，通常のｔ検定とは計算方法が異なります）．しかし「対応ありｔ検定」の場合，

１）サンプルのもとの母集団の「位置」の数値が正規分布であること
２）条件Ａ群とＢ群の「位置」変数の分散がほぼ等質であること

が条件となります．多少であれば前提条件を守っていなくとも許容範囲かもしれませんが，そのような場合は別の手法を使う必要があります．

前提条件が守られていない場合は「ウィルコクスンの符号付き順位和検定」という方法が使えます（「符号付き」が付いていない「順位和検定」とは別手法なので注意して下さい）．また計算方法が最も簡単な方法としては「符号検定」が挙げられます．
この方法は上記の前提条件を全く必要としません．

　─────────────────────
　　差　　　　-9 -10 -7 -11 -25
　─────────────────────

このデータを「＋」か「－」かの符号の条件だけに絞ります．

　─────────────────────
　　装置番号　１　２　３　４　５　
　─────────────────────
　　差　　　　－　－　－　－　－
　─────────────────────

このように５つの装置で「－」が５つとなる確率はいくらでしょうか？　一つの装置につき「－」になる確率は「0.5」ですね？　すると……

　「－」×５の確率：0.5×0.5×0.5×0.5×0.5＝0.03125

となります．もし「有意水準（α）＝0.05（５％）」と考えたならば，この結果は有意差あり，つまりは条件ＡとＢとでは異なるという結果が得られます．

たいていの場合は，ｔ検定→ウィルコクスン→符号検定の順番に有意差が出にににくなりますが……

お礼

ありがとうごございます。

対応ありｔ検定の条件のうち、１）はクリアできますが、
２）は母分散を調べたところ、守られていませんでした。

ウィルコクスンの検定法を使う必要がありそうです。
少ししらべてみます。

回答No.1

tan777tan

それはお悩みですね、平均とかの取り方とは示されていませんから、これから説明することが、当たって無かったらすみません。
サンプル９個に個体番号を付けて、それぞれの処理前後の大きさを測定して対応のあるデータの差の検定をするか、それぞれの変化量を出してそれが０でないという検定をする。これは同じ事をやっているのですが、

お礼

ご回答ありがとうございます。
私のＰＣでは、何故かいただいた回答が途中で
切れて表示されてしまっています。
もしよろしければ再度回答いただければありがたいです。