中心極限定理

独立同分布な確率変数の和は、元の分布によらず正規分布に近づく。

$$\frac{{\bar{X}}_n-\mu }{\sigma /\sqrt{n}}\stackrel{\stackrel{}{d}}{\to }𝒩(0,1)$$

何が驚くべきか#

元の分布が何であれ（有限の分散さえあれば）、 和を取れば正規分布になる。 一様分布でも、コイン投げでも、歪んだ分布でも同じ。

これが正規分布が至る所に現れる主要な理由であり、 「多くの小さな要因の重ね合わせ」で説明できる現象が 正規分布に従いやすいことの根拠。

誤差の大きさを与える#

大数の法則が「近づく」ことだけを言うのに対し、 中心極限定理はどれくらいの誤差が残るかを与える。

$${\bar{X}}_n\approx \mu \pm \frac{\sigma }{\sqrt{n}}$$

この $1/\sqrt{n}$ が、

• モンテカルロ積分の収束率
• 量子測定のショットノイズ
• 信頼区間の幅

をすべて支配する。精度 1 桁で試行数 100 倍という 厳しい関係はここから来る。

成り立たない場合#

• 分散が無限 — Cauchy 分布など裾の重い分布では成り立たない
• 独立でない — 強い相関があると収束が変わる
• $n$ が小さい — 歪んだ分布では収束が遅く、$n=30$ でも不十分なことがある

参考文献#

• Charles M. Grinstead, J. Laurie Snell. Introduction to Probability, 2nd ed. AMS, 1997.（全文公開） https://open.umn.edu/opentextbooks/textbooks/21
• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9
• MIT OCW 6.041 Probabilistic Systems Analysis and Applied Probability https://ocw.mit.edu/courses/6-041-probabilistic-systems-analysis-and-applied-probability-fall-2010/