統計的に有意差が無いならそれは誤差でしかないですか

質問

ある２群をt検定したところ、２群に有意差はなく、同じような値であると判断されました
私としては「２群に有意差があり片方の群の方が値が小さい」という結果が欲しかったです。
実際片方の群の方が若干値が小さかったので、有意差が出てくれれば良かったのですが出ませんでした。
そこで質問なのですが、有意差が出なければこの２群の差は誤差でしかないのでしょうか？
どうしてもこの２群に差があるという話で論文を書きたいのですが、やはり有意差が無ければダメでしょうか？
実験の精度を上げればもっと値に差が出るかもしれませんがこれ以上上げることが出来ません

回答No.4

stomachman · ベストアンサー

t検定で有意差が出なかった。有意差が出なかったからと言って「それは誤差でしかない」という結論にはなりません。単に、帰無仮説「両群は同じ」を棄却できず、従って「これだけじゃ何も言えない」というのが検定の結果です。だから、これで堂々と論文書けばいいんです。

　ただし考察として、
(1) フツーに考えれば両群にもっとはっきり違いが出そうなものなのに、驚いた事にこれだけしっかり実験したのに違いが検出できなかった。これだって重要な結論です。（有名な、マイケルソン・モーレーの光速の測定実験はまさにこれです。）となると、
(1a) 実験のやり方・測定方法に何か問題があったんじゃないだろうか。この点をしっかり議論して、もしアナが見つからないのであれば、
(1b)実験はきっちりできていたのに、予想された違いが検出できなかった。ということは、「フツーの考え」（従来信じられている理論）やその適用条件にどこか誤り・見落としがあるのかもしれない。どんな誤りがありそうか。また、それを検証するには今後どんな実験をやればいいか、という議論ができます。大発見に繋がる可能性があるんです。

(2) もっとノイズを少なくする方法はないか、あるいは、もっと事の本質を旨く測る方法はないか、という議論もできます。もちろん、単に「もっとサンプル数を増やせば差が検出できそうだ」ということも考えられます。（今回の結果で得られたp値から、「差が検出できるためには、どのくらいのサンプル数が必要か」を見積もることができるでしょう。）この方向は、(1)に比べて旧守的でセコい話ではありますが。

　ところで、「差が検出できるまで実験を続ける」ということをやったとすると、どうでしょうか。両群に本当に差がない場合でも、ノイズのゆらぎのせいで、実験はいつか必ず終わるんです。そして、実験が終わった時には必ず「（わずかながら）差が検出できた」という結論になる。というわけで、結論は最初から決まっている。ならば、実験をやる意味なんかそもそもなかったことになる。これは「検定」という方法論が持つ弱点のひとつなんです。
　このドツボに嵌らないためには、「両群の差について、理論的な予測値と実験結果とを比較して、その理論が成立っていると言えるかどうかを検証する」という観点が不可欠なんです。

回答No.3

hg3

有意差が無い＝２群の差は誤差　ということにしかなりません。
従って、質問者さんが今回行った実験方法や実験結果の解析結果で、２群に差があるという結論の論文を書くことはできません。

しかし、有意差が無いのは、今回行った実験方法や解析方法（t検定）の結果であり、別の実験方法や、解析方法なら有意差が見いだせるかもしれません。
従って、今回の結果、有意差が無かった原因をもっと良く考察する必要があるでしょう。

そもそも、なぜ２群に差があると考えられるのか？
その差を確認するための手法（実験条件）は適切だったか？
実験回数やサンプル数は十分か？
データの解析方法（検定の方法等）は適切か？
などをもう一度良く振り返って、考察してはいかがでしょう。

実験の精度を上げるのは難しいとのことですが、回数やサンプル数を増やすというのも精度を上げるための方法です。
t検定は、母集団が正規分布をしていることが前提の検定方法ですから、データに偏りが有ったり、サンプル数が少ないと正しい結果が得られない可能性もあります。
別の検定方法で解析したら差があるという結論になることも有るかもしれません。

そうした考察を加え、「今回の実験では差は見いだせなかったが、その原因はこう考えられる」というような趣旨の論文にすれば良いのではないでしょうか。

回答No.2

in01280128

「片方の群の方が若干値が小さかった」ことは質問者さんの観察に基づく事実であり、これを論文に書くこと自体は問題ありません。

有意差がある、というのは、観測データが一定の分布に従っていることを仮定して、計算で求めた数字から判断しているに過ぎず、絶対的なものではありません。例えば、有意水準が０．０５であれば、有意差があると言う人が多いでしょうが、しかし、５％の確率でこの結論は誤っています。また、例えば、有意水準が０．５であれば、有意差がない、とする人が多いでしょうが、しかし、二つの群の間には５０％の確率で差があるのです。

観察した事実を淡々と述べると共に、有意差が出なかった理由や、今後、実験の精度を上げる方法について考察すれば、良い論文が書けるのではないかと思います。ただし、有意差がないとハナから相手にしないような人もいますので、これは受け入れるより他ないと思います。

回答No.1

maiko0318

実験で得られなかったことを発表することは「ダメ」ですね。

それは、嘘になってしまうからです。

これが実験前なら「こうなるはず」として書くことはできますが、
「実験で裏付けられた」というのはまずいですね。

大人の世界ではこれを「公文書偽造」とか「私文書偽造」といいます。