統計学的に有意な・・・

質問

■問題
A君とB君は互いに相手よりもテニスが強いと言い張ります。
そこで、10試合をして勝敗によりどちらのほうが強いか決めようということになりました。
統計学的に有意に強いと認められるには、どちらかが何勝すれば良いでしょうか。
ただし、引き分けは無いものとする。

■自分で考えた答え（合っていますか？）
A君とB君の勝敗の組み合わせ数は2^10=1024通り
10試合のうちA君が8勝する組み合わせ数は10!/(8!2!)=45通り
10試合のうちA君が9勝する組み合わせ数は10!/(9!1!)=10通り
10試合のうちA君が10勝する組み合わせ数は10!/(10!0!)=1通り

従ってA君とB君が互角と仮定すると
A君が8勝以上する確率は(45+10+1)/1024≒0.055
A君が9勝以上する確率は(10+1)/1024≒0.011

統計学的に有意に強いと認められるには、互角となりうる危険率を5%以下にする必要があるから 9勝以上しないといけない。

この解答は合っていますか？

回答No.7

Ishiwara · ベストアンサー

#1,5です。
質問者を支持する立場から発言しています。
この検定では、強さ（無限回試合の勝率、すなわち期待値）がどれくらいか、というところまでの議論はしていないのです。
もし「強さを不偏推定せよ」と言われれば、９勝１敗の場合０.９という数を提出せざるをえませんが、こんな僅かな試合数では「信頼区間」が広すぎて、とてもそのまま信用できる値ではありません。
ですから、質問者さんは、強さのレベルの話にまで言及することなく、９勝１敗という結果を「両者はまったく同じ強さである」という帰無仮説を棄却する目的にのみ使っているわけです。「だから強さは０.８だ」とか「０.９だ」とかいう話は、また別のテーマであることをご理解ください。
今後の議論の進め方ですが、ギャラリーからのご発言を強く期待します。それが無理ならば、平行線になりそうなので、ちょっと「休憩タイム」として、いったんクロ－ズし、しばらくして再提出されたらいかがでしょう。

お礼

ご回答をありがとうございます。
私は統計素人ですので２種類の回答をどちらが正しいか判断が難しいのですが、一番しっくりきたのがIshiwaraさんの答えでした（私に正解を出してくれたからではなくて、論理的な内容について）。
いったんクローズし、もやもやが収まらなかったら再提出いたします。

回答No.6

himara-hus

２度同じことを言っているのですが、なかなか理解してもらえなくて残念です。
　統計で大事なことは、目的、サンプリングしている内容（意味）、その結果の考察だと思います。統計学（統計手法）はあくまで手段です。

＞私の解答に「統計学的に有意」に基づいていない箇所があるならば、その部分を具体的に指摘していただけないでしょうか。

　あなたのやっている内容は、全体確率から同等と言うデータが有ろうがなかろうが、同等と絶対に有意に言えないデータ（同等ではありえないだろう５％以下の確率のデータ）を示しているだけです。
　統計的に有意と言うのは、９５％以上の同等と言うデータがあるときに同等と言えるということと理解しています。

　また、あなたの得られた結果は、常識的にはＡがＢより圧倒的に強いと言う意味になり、あなたが言う「どちらが強いか」という比較を命題にしていたものと感覚的に合いません。また、あなたの理論で行くと、何試合やってもどちらが強いか、同等かの結果は出ません。

　それは何故かというと、例えば、Ａが６勝すれば、もうその時点でＢは勝てないし、ＡとＢが同じ（同等）になれないからです。
　そのデータは、Ａの方が強いと言うデータでしかありません。
　10試合戦を何回かやると違う結果が出るのではとの疑問をもたれると思いますが、それはそのとおりです。データが少ないからです。
　両者の勝利する確立に応じた試合数が必要と言うことになります。
　５％論を持ってくるなら、勝ち負けがひっくり返って同点となる確率が５％以下になるだけの勝差がつけば、その時点で有意といえるのでしょう。
　（負けてる方の勝率）^ｎ＜５％　　　
　ｎ：試合結果が変わると勝差が並ぶまたはひっくり返る試合数

　１０試合であれば、８勝すれば、上記を満たします。
　並ぶためには３試合の結果がひっくり返る必要があります。
　その確率は（２／８）^３＝０．０１６

　両者の力が拮抗していれば、その分試合数が必要となります。

　ただし、言葉尻になりますが、
＞10試合をして勝敗によりどちらのほうが強いか「決めよう」ということになりました。
　１０試合で決めるなら、６勝です。

お礼

ご回答をありがとうございます。
おっしゃっていることは、ほぼ理解できました。ただし私はかなりの統計素人ですので、回答者によって答えが違った場合に、どちらが正しいか判断しかねました。数学ですので、正解はあるはずですが・・・。いったんクローズさせていただきます。

回答No.5

Ishiwara

＃２,４さんの表現では「勝率の不偏推定」の問題と「勝率が０.５より大きいと主張するときの有意水準」の問題が混線しやすいと懸念します。

質問者は最初から「統計学的な有意性」を掲げて質問しているのですから、それに沿って解説してあげたほうが良いと思います。

例えば、４勝１敗なら、勝率の不偏推定値は０.８ですが、６００勝４００敗ならば、勝率はこれより低くても「自分のほうが強い」という主張の統計学的な裏付け（有意性）は高度であると言えます。

補足

ご回答をありがとうございます。
今、２つの意見があって正直混乱しております。

＃１＃３さんの意見
私の解答で合っている

＃２さんの意見
私の解答は間違っている。勝敗数に注目すべきである（つまり、答えは６勝すすればよいということ？）

申し訳ございません、もう少し様子を見たいと思います。

回答No.4

himara-hus

＃２です。

　繰り返しますが、
＞　上の「どちらが強いか」とあなたが計算された「統計学的に有意に強い」の意味は違うと思います。多分あなたの計算過程から行くと「ほとんどいつも勝つと言うぐらい強い」という定義になっています。

　もう少し分かるように言うとＡが勝つと言うことが有意かどうかということになるのでしょう。
　普通どちらが強いかというのは、どちらの方が勝つ確率が高いかで言います。

補足

ご回答をありがとうございます。

＞上の「どちらが強いか」とあなたが計算された「統計学的に有意に強い」の意味は違うと思います。

問題文も私の解答も、「統計学的に有意」の定義に基づいていると認識しております。

■統計学的に有意の定義---------------------
統計量が仮定した分布の中で、算出した十分統計量と同じかそれよりも極端な（仮説に反する）値となる確率pを求め、これと危険率αとを比較し、p < αならば危険域の内部にあると判断する。 検定統計量が危険域内にあれば、結論は仮説は正しくない。従って帰無仮説を棄却するか、さもなくばα以下の確率しかない事象が起こった のいずれかになる。 この場合をα水準で統計学的に有意であるという。
-----------------------------

私の解答に「統計学的に有意」に基づいていない箇所があるならば、その部分を具体的に指摘していただけないでしょうか。

回答No.3

solla

> この解答は合っていますか？

合っています。統計的検定の考え方を理解されているようですね。

10試合ではこのように9割以上勝たなければ相手より強い（試合をして相手に勝つ確率が0.5より大きい）ことを“5%の危険率で統計的に”は主張できませんが、20試合やるなら、うち15勝（7割5分）以上すれば相手よりも強いことを“5%の危険率で統計的に”主張できますね。

お礼

ご回答をありがとうございます。
大変よくわかりました。

回答No.2

himara-hus

前提などに、あやふやな点があって、理論的には矛盾があります。

＞どちらのほうが強いか決めようということになりました。
＞統計学的に有意に強いと認められるには

　上の「どちらが強いか」とあなたが計算された「統計学的に有意に強い」の意味は違うと思います。多分あなたの計算過程から行くと「ほとんどいつも勝つと言うぐらい強い」という定義になっています。
　また、統計学的５％と言うには、統計学的には母数が少なすぎます。

　どちらが強いかは、どちらが勝つ確率が高いかということで、１勝でも多い方がより強いとしかいえないのではないでしょうか。付け加えるなら、勝敗差によってどちらがどのくらい勝つ確率が高いかと言う言い方しかできないと思います。

補足

ご回答をありがとうございます。

＞勝敗差によってどちらがどのくらい勝つ確率が高いかと言う言い方しかできない

というのはあなたの個人的な考えですよね。問題文に「統計学的に有意に」とありますから、危険率を持ち出して計算するしかないと思います。統計学的には母数が少なすぎるのなら、いくつなら足りますか？いずれにせよ、まず問題がおかしいとおっしゃいたいのでしょうか。

回答No.1

Ishiwara

お見事です！
ただし５％という数字は、統計学者間の単なる約束ごとであって、それ以上の意味はないことにご注意ください。
もし６％でいいなら、８勝で有意となります。５％でなくてはいけない、とする必然的は理由はないのです。
１％と５％に限ったのは、数値計算が難しい分布があるからです。この場合は二項分布ですから「計算がやさしい」分布に相当します。

お礼

ご回答をありがとうございます。
なるほど、５％が単なる約束ごとなら、実用的には「８勝以上で有意」としてもほとんど問題無さそうですね。