正規分布

$$p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{{(x-\mu )}^2}{2{\sigma }^2})$$

ガウス分布。平均 $\mu$ と分散 ${\sigma }^2$ の 2 つだけで決まる。

なぜ至る所に現れるのか#

理由 1 — 中心極限定理。 多数の独立な要因の和は、元の分布によらず正規分布に近づく。 測定誤差が正規分布に従いやすいのはこのため。

理由 2 — 最大エントロピー。 平均と分散だけを固定したとき、 エントロピーが最大になる分布が正規分布。 「それ以外に何も仮定しない」という意味で最も無情報。 CMA-ES が正規分布を使う根拠でもある。

理由 3 — 数学的な扱いやすさ。 線形変換で閉じる、和も正規分布、共役事前分布を持つ、など。

過信しないこと#

現実のデータが正規分布に従うとは限らない。特に

• 裾が重い（金融の収益率、地震の規模）
• 非対称（所得分布）
• 有界（確率、割合）

正規性を仮定した検定（t 検定など）を 最適化の実験結果に適用するのが 危ういのはこのため。ノンパラメトリック検定が推奨される。

参考文献#

• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9
• Charles M. Grinstead, J. Laurie Snell. Introduction to Probability, 2nd ed. AMS, 1997.（全文公開） https://open.umn.edu/opentextbooks/textbooks/21