統計いついての基本的な質問です

質問

統計についての質問です。
ある患者さんを対象にした心理実験の論文で、数字列の復唱が何ケタまでできるか二人の被験者（AさんとBさん）に調べたものがありました。

2桁、3桁、4桁、5桁の数字をそれぞれ10回ずつ復唱させた結果（計40回）、Aさんは10/10, 8/10, 2/10, 0/10という成績でした。Bさんは10/10, 9/10, 5/10, 3/10という成績でした。
論文では、二人の成績には有意な差がある（χ2=6.17, p<.02)と結論しているのですが、この検査結果をどのようにχ二乗検定すれば同様の結果になるのでしょうか？よくわからず統計ソフトで数字を入れてみても違う結果になってしまうもので・・・
ただし5桁の検査結果は検定には含めなかったとも書いてあるのですが。。
素人質問で大変申し訳ないのですが、どなたかお教えいただければ幸いです。実は同じようなデータを解析しようとしていて困っています．．

回答No.4

kgu-2

No2です。

>つまり、一人を対象
特定の人を対象にする場合は、検定をする必要はありません。誰がやっても、同じ結果になるからです。ただ、測定日が違うと異なる結果がでる、というのであれば、たまたまその日に有意差が見つかったかも、というので　検定の要がありますが。

　例えば、午前中で治療前は１０点、午後の治療後は３０点の一人なら、これは誰が判定しても効果有りです、しかし別の日にやると、治療前は２０点、治療後は２５点なら、日によって結果が違うので、偶然かもしれない、ということで、偶然の可能性を否定するので、有意差検定をする必要があります。

>2桁、3桁、4桁、5桁の数字を
これでやると多重比較という検定になります。すると学会などでの質問は、「どのレベルで有意差があったのですか」というのが定番です。すると、２桁、３桁、・・・、と検定をする羽目になります(この質問は、何度か耳にしています)。
　多重比較は、全体で有意差、という結論しか出せませんので、私はやりません。

　さらに、検定では、特定の人、というのは対象にしません。
　A群、B群について、無作為に抽出して、データを得るというのが原則です。たとえば、購買力を調べるときに、A群は１０代だけを選び、B群は２０代、というのは検定するまでもありません。ですから、検定の対象が特定の人、という作為が入ると、統計処理をするのは不適切なのですが。

お礼

わかりやすい説明、ありがとうございます。
特定の人を対象に検定を行うのは不適切なのですね。
基本的なことがわかっていませんでした。

しかし、今回のような記憶検査では、施行のたびに成績は違いますし、条件の変更による成績の変化が偶然によるものではない、ということを示すために検定が必要なのかと思っておりました。
また、単純に2桁の成績と4桁の成績を比較することはできないので、多重比較も不適切なのかなと、何となく考えていました。難しい…

何度も丁寧にご説明いただき、誠にありがとうございました。
とても勉強になりました。

回答No.3

osu_neko09

χ二乗検定は表の項目がそれぞれ独立である、という場合によく用いられていますので、こういうデータに用いるには確かに違和感があります。

ちなみに、私の計算では以下のような値になりましたが、結果は同じでしょうか？
２桁～５桁まで：３．３７７
２桁～４桁まで：０．９８９
３桁～５桁まで：２．７１２

補足

回答ありがとうございます。
私の計算でも同様の結果になりました。（意味もわからず統計ソフトで処理しただけですが・・・）
論文の値とは異なり、有意差も出ないためおかしいと思ったのですが、やはりこのようなデータにカイ二乗検定は違和感があるものなのですね。
あまり統計についての記述がない文献だったのですが、私の勘違いもあるかもしれないので、もう一度読み直してみます。
ありがとうございました。

回答No.2

kgu-2

私も初心者ですが、この方法は統計処理以前の問題があります。
すなわち、２桁はAさんが優れ、3桁はBさんが優れていた、の場合の判断は、どうされるのでしょうか。

>5桁の検査結果は検定には含めなかった
なぜ含めないのか、理由が書いてありますか。それに納得できますか。実験から自己の都合で省く恣意的なデータ処理は、やってはならないことです。
　極端ですが、１錠では効果があったが、２錠では死亡する人がいた時に、２錠のデータを隠すのは、犯罪ものです。

>二人の成績には有意な差がある（χ2=6.17, p<.02)と結論
おそらく間違っています。Aさんは100、80、20%、Bさんは100、90、50%の正解率では、差がありそうなのは４桁の20%と50%だけですから、計算したわけではないので、有意差は無いと思います。
　３群の比較はやる能力がありませんが、２群はしょっちゅうしています。４桁だけの正解率の20%と50%をカイ２乗検定すると、χ2=0.879しかなく、有意差はありません。著者が「ある」と言っても、「もっとも差がありそうな３桁では無い」と反論しますが。

>実は同じようなデータを解析しようとしていて困っています．．
困るのは当然です。
1) 恣意的に5桁を外した
2) 検定の結果が怪しい
3) AさんとBさんの二人だけなら、検定しなくても必ず差がある
　私なら、もっと簡単にしますが、学生か院生の印象があるので、横からの口出しは差し控えます。
　ただ、AさんとBさんの二人だけでは、話になりません。たとえば、Aさんは東大卒、Bさんは中卒では、結論は見えています。中卒の人が優れているなら、論文にできます。

　一人でやっている、なら、その旨書いて下さい。

補足

詳しいご回答ありがとうございます。
実は説明を省略するために、実際の研究デザインをシンプルに変えて質問してしまいました。すみません。（原型がない程ゆがめてしまいました）
この研究はある、ある種の記憶障害を持つ１症例を対象にしたもので、実は数唱ではなく、単語の即時再生(２単語、３単語、４単語、５単語)を行っています。検査バッテリーとして２つの異なる単語条件（片方は似た音韻の単語、片方は全く音韻の異なる単語）を提示した際の成績の違いを検討しています。
「Aさん」と呼んだのは、似た音韻の単語条件、「Bさん」は異なる音韻の単語条件です。つまり、一人を対象としています。（申し訳ありません）

また、よく論文を読んでみると、5桁目をはずしたのはfloor effectのためだというような記載がありました。

(読み落としているのか)統計手法についての記載が殆どない英語論文だったのですが、やはり検定の結果は怪しいのでしょうか。

非常に参考になりました。ありがとうございます。

回答No.1

backs

一番、確かなのはその論文を提示することですね。

せめて自由度があれば、どんな分割表にまとめられたのか想像もつきますが、そもそもこのデータセットにカイ自乗検定(恐らく比率の差の検定)を適用するのはあまりおススメできません・・・

もしやるなら、ロジスティック曲線を当てはめて、切片や係数(直線でいえば傾き)が有意に異なるか？ということを確かめるべきでしょう。実際、提示された比率データをプロットしてみると、ロジスティック曲線が上手く当てはまりそうな感じですよ(というか、このような比率データは大概ロジスティック曲線に当てはまるようになっています)。

お礼

御回答ありがとうございました。

やはりカイ二乗検定を用いるのは良くないのですね。
ロジスティック曲線を当てはめて比較、今から勉強してやってみようと思います。（統計ソフトはPRISM 5.01なのですが、簡単にできるものなのでしょうか。。）
どうもありがとうございました。