多変量正規分布

$$p(x)=\frac{1}{{(2\pi )}^{n/2}|\mathrm{\Sigma }{|}^{1/2}}\exp (-\frac{1}{2}{(x-\mu )}^{\top }{\mathrm{\Sigma }}^{-1}(x-\mu ))$$

$\mu$ が平均ベクトル、$\mathrm{\Sigma }$ が共分散行列。

楕円として読む#

指数部の ${(x-\mu )}^{\top }{\mathrm{\Sigma }}^{-1}(x-\mu )$ は Mahalanobis 距離の二乗。 これが一定の面が楕円体になる。

$\mathrm{\Sigma }$ の固有ベクトルが軸の向き、 固有値の平方根が軸の長さ。

良い性質が揃っている#

• 周辺分布も条件付き分布も正規 — 一部の成分だけ見ても正規のまま
• 線形変換で閉じる — $AX+b$ も正規
• 無相関なら独立 — 一般には成り立たないが、正規分布では同値
• 標本生成が簡単 — コレスキー分解して $x=\mu +Lz$（$z\sim 𝒩(0,I)$）

この分野での中心的な役割#

CMA-ES の探索分布そのもの。 CMA-ES がやっているのは、要するに この分布の $\mu$ と $\mathrm{\Sigma }$ を、評価結果に応じて更新し続けること。

ガウス過程（ベイズ最適化の代理モデル）も、 任意の有限個の点での値が多変量正規に従うという仮定に基づく。

高次元での難しさ#

$\mathrm{\Sigma }$ は $n(n+1)/2$ 個のパラメータを持つ。 標本数が次元より少ないと推定が特異になるため、 対角に限る、縮小推定する、といった対処が要る。

参考文献#

• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.（全文公開） https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/
• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9