基本的な質問ですが

質問

標準偏差ってなんですか？
具体的にどんな場面で使って、何を意味するものでしょうか？
また、その計算方法は？
お馬鹿な質問ですいません。

回答No.10

stomachman

うう。どうしても長文になっちゃうなあ。
自由度一般については、とりあえず別件にしましょう。この質問に関連する「自由度」というのは、分散（平方根を取る前のやつ）の分母がなんでNではなくてN-1なのかってことです。この-1がどこから出てきたのか。

まずは問題を整理すると共に、必要な概念を説明します。しんどいけど、おつきあい願います。

●母集団とサンプルの区別が重要になります。母集団というのはあらゆるデータ全部集めたやつ（無限集合かもしれない）。サンプルはその母集団の中から、無作為に選んだ代表の集合ですね。（無作為が重要。でかいのだけ選んだりしたら、以下の話は成り立ちません。）

●もし、母集団の全データを利用できれば、平均と標準偏差はきっかり決まります。これは推定ではない。母集団のデータy[j]の数がM個なら、平均A、分散D^2　およびその平方根である標準偏差Dは
A = (Σy[j])/M　（Σはj=1,2,....,Mについての和）
D^2 = {Σ(y[j] - A)^2}/M（Σはj=1,2,....,Mについての和）
で計算できる。しかし通常はサンプルしか得られないから、これらの式は使い物にならない。

●「N個のサンプルx[j] (j=1,2,...,N)から、母集団の平均と分散を推定しよう」という時には、「不偏推定」という考え方を取ります。つまり、サンプルしかないのだから正確な値は絶対出ないけれども、最も正解である確率が高くなるような最良の推定を行います。

●このような不偏推定は、母集団の平均Aの推定値aに関しては
a = (Σx[j])/N 　（Σはj=1,2,....,Nについての和）
になる。つまり、(a-A)の期待値は0です。（無作為にサンプルを選ぶのが条件ですよ。）
さてここで、(a-A)^2の期待値はいくらかというと、(D^2/N)になります。
（なんでか？はめんどいので堪忍。）

もちろん、サンプルには偶然の偏りがあるから、Aとはずれている訳です。
　そして母集団の分散D^2の推定値σ^2に関しては
σ^2 = {Σ(x[j] - A)^2}/N（Σはj=1,2,....,Nについての和）
です。よく見て！！ 分母はNです。ところがこの計算は実行不可能。Aが分からないからです。
　そこで、Aの代わりにaを使わなくてはならない。この場合の不偏推定は
σ^2 = {Σ(x[j] - a)^2}/(N-1)（Σはj=1,2,....,Nについての和）
になる。

●直感的に言えば：
　Aの代わりにaを使いました。ところが、サンプルに偏りがあって、たとえばちょっと大きめに偏ったとすると、aはAよりちょっと大きめに出てしまう。さて、そのaを基準にして分散を計算すると、ちょっと小さめに出てしまう。
　なぜなら、基準になる平均aが大きい方にずれているために、「大きいサンプルが真の平均よりどれだけ大きいか」が小さめに見えてしまい、「小さいサンプルが真の平均よりどれだけ小さいか」が大きめに見える。サンプル集団には小さいのよりは大きいのが多めに入ってますから、全体としては、ばらつきが小さめに見えてしまう。～あかん。全然直感的じゃないかな～

●こんどはいい加減な数式で迫ってみましょう。
Nσ^2 = {Σ(x[j] - A)^2} ={ Σ(x[j] - a+(a-A))^2}
= (Σ{(x[j] - a)^2+(a-A)^2-2(a-A)(x[j] - a)})
= (Σ(x[j] - a)^2)+{Σ(a-A)^2}-2(a-A){Σ(x[j] - a)}
ここでΣ(x[j] - a)=Σ(x[j] )- aN = 0 ですから、
Nσ^2 = (Σ(x[j] - a)^2)+N(a-A)^2
です。ここで、(a-A)^2の期待値(D^2/N)を入れると、（誤差はあるけど期待値としては）
Nσ^2 = (Σ(x[j] - a)^2)+(D^2)
である。σ^2はD^2の期待値の筈ですから、D^2はσ^2と同じと考えたって、まあよろしい。よって
Nσ^2 = (Σ(x[j] - a)^2)+(σ^2)
(N-1) σ^2= (Σ(x[j] - a)^2)
よって、
σ^2= (Σ(x[j] - a)^2)/(N-1)
まあ、そういう事です。

●もし、サンプルを選んで母集団の平均を推定してaを得た後、改めてサンプルを選び直してから、母集団の分散を推定するという場合には、
σ^2 = {Σ(x[j] - a)^2}/N（Σはj=1,2,....,Nについての和）
が不偏推定になります。

●ここまでのまとめ
母集団の本当の平均値Aが分からないので、サンプル集団から求めた平均値aを使った。そして、その同じサンプル集団に対して、aを使って分散を計算した。これが(N-1)の原因。

●「自由度」という言葉を使って.....
　もともとN個あったサンプルx[j](j=1,2,..N)は自由度Nです。おおざっぱに言えば、N個のパラメータがそれぞれ独立に変化しうる、ということを自由度Nと言うわけです。
　平均値a（１個の数値。自由度１)を求めて引き算し、(x[j]-a)を作りますと、平均値aと、(x[j]-a)(j=1,2,..N)の、合わせてN+1個の数値がある。
　しかし、「(x[j]-a)(j=1,2,..N)の合計は必ず0でなくてはならない」という制限が加わっている。だから一つ欠けても元のx[j]が全部再現できます。つまり｛平均値aと、(x[j]-a)(j=1,2,..N)}はやはり自由度Nを持っている。
　もしN個の数値(x[j]-a)(j=1,2,..N)だけ知っている(aは不明)なら自由度はN-1になり、元のx[j]の再現はもはや不可能ですが、どれか一つが欠けても(x[j]-a)(j=1,2,..N)は再現できる訳です。

補足

うーん私のレベルでは難解すぎて...
何とか概念だけでも理解しようとここ数日幾度か読み返して参りましたが、特に数式の部分はロゼッタストーンを眺める酔っぱらいの如くただ眼をうつろにして呆然とするばかりです。
でも、私でも理解し得る断片を集めて私なりに解釈するとすれば、自由度とはサンプル（全集団のデータを計算することが不可能なために全集団から無作為に取り出したサンプル、若しくは過去の集団から未来を推定する目的での過去の全集団でもいいのかな？）を真の全集団のデータに少しでも近づけるために連続的にサンプルの変化を評価するしくみ....自分でも何が言いたいのかよくわかりませんが、こんな感じなのでしょうか？