大数の法則 — 知識ノート

標本平均は、標本数を増やすと母平均に近づく。

{\overline{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} ⟶ μ

弱法則と強法則#

	収束の意味
弱法則	確率収束。 $\forall ε > 0$ , $P (‖ {\overline{X}}_{n} - μ ‖ > ε) \to 0$
強法則	概収束。 $P (\lim {\overline{X}}_{n} = μ) = 1$

強法則の方が強い主張。実用上はどちらも「たくさん測れば真の値に近づく」と読んでよい。

保証する — 十分な標本があれば推定は正しい値へ向かう。量子測定で期待値が推定できるのも、モンテカルロ積分が正しい値に収束するのも、これによる。

保証しない — どれくらい速く近づくか。収束の速さを与えるのは中心極限定理で、誤差が $𝒪 (1 / \sqrt{n})$ であることが分かる。

「表が続いたから次は裏が出やすい」は誤り。大数の法則は比率が近づくと言っているだけで、過去の偏りを打ち消す力が働くわけではない。偏りは埋め合わせられるのではなく、試行数が増えることで相対的に薄まる。

Charles M. Grinstead, J. Laurie Snell. Introduction to Probability, 2nd ed. AMS, 1997.（全文公開） https://open.umn.edu/opentextbooks/textbooks/21
Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9