分散分析で有意差が確認された場合、データの水準を解析範囲から外して再解析を行うことは駄目ですか？

質問

統計初心者の一人です。ご指導宜しくお願いします。基本的な質問で恐縮ですが、２元配置の分散分析で有意差が確認された場合、他と異なるデータの水準を解析範囲から外して再解析を行うことは統計上問題ですか？

分散統計で要因の一つを操作因子、もう一つは濃度因子にした２元配置の分散分析を行なっております。その結果、操作因子並びに濃度因子共に「有意差」が確認されました。 このため、元のデータの範囲設定を変更し、影響のありそうな操作因子や濃度水準を分散分析の計算範囲から除外して再計算を行なってみました。そうしたところ「有意差ありとはいえない」との結果が得られました。当然、信頼限界を計算してそれから有意な濃度範囲を求めることも行っています。
この結果をもとに報告書に実験の操作要因と影響する濃度の範囲として考察に加えようと考えていますが、この考えは統計的な観点からは邪道な考えでしょうか？もともと実験計画はR.Aフッシャーの３原則の一つである実験番号の割り当ての無作為化（ランダムに実験番号を割り付ける）が基本であるので、この様な解析はその考え方から逸脱するため意味を持たないかとも思っていますが、本当に駄目なのでしょうか？
理由を含めご教授願いたく宜しくお願い致します。レベルを下げて具体的にご教授願えれば幸いです。

＜例＞
Data 水準-1 水準-2 水準-3
SampleA n=1 24 24 22
n=2 25 24 22
n=3 25 24 22
SampleB n=1 25 24 22
n=2 25 25 25
n=3 25 25 25
SampleC n=1 21 20 17
n=2 21 20 17
n=3 21 20 17
分散分析・・・Sample間（濃度）、水準間（条件）で有意水準５％で有意差あり

→ここで、濃度、水準がどの範囲まで影響しているかを確認するために、下記のよ
うにデータ範囲を変更して再解析

Data 水準-1 水準-2
SampleA n=1 24 24
n=2 25 24
n=3 25 24
SampleB n=1 25 24
n=2 25 25
n=3 25 25
分散分析 有意差なし

以上です。

回答No.1

backs · ベストアンサー

フィッシャーの三原則というのとは別に、これは検定の多重性の問題ですね。私は最初に考案したモデル（何を要因として、その要因の水準をどのように設定するか）を色々と検定しながら解析していくのはよろしくないと考えています。だから、分散分析の後に多重比較をするとか、事前検定（t検定における等分散性の検定など）を行うのも正しくないと考えています。

しかし、これが絶対的に正しいというものでもありませんからねぇ。。。分析者自身や論文の査読者によって意見が食い違うことだってしばしばですから。

結局、最終的にそのモデルが妥当であると主張できて、それに対してあからさまな問題がないのであれば、そのようにしても良いとも思うのです。他の人の回答も参照してみるとよいでしょう（でも結論の出ない議論ですから最後は質問者さんの判断ですね）。

お礼

回答ありがとうございます！
多重性の問題は初心者には理解するのが難しいですね。ネット上で検索したところ、平均値の差の検定前に等分散の検定は一般的に行われていると思いましたが、これも多重性の問題があるなどの意見があり、奥が深いと思いました。本当に貴重なご意見有難うございます。又ご指導お願いいたします！！