共分散

$$\mathrm{Cov}(X,Y)=𝔼[(X-{\mu }_X)(Y-{\mu }_Y)]$$

2 つの確率変数が一緒に動く度合い。

• 正 … 片方が大きいとき他方も大きい
• 負 … 逆向きに動く
• 0 … 線形な関係が無い

無相関 ≠ 独立#

$\mathrm{Cov}(X,Y)=0$ は線形な関係が無いことしか言わない。

$X\sim \mathrm{Uniform}(-\mathrm{1,1})$、$Y=X^2$ とすると 共分散は 0 だが、$Y$ は $X$ で完全に決まる。強い依存がある。

独立なら無相関だが、逆は一般に成り立たない。 （多変量正規分布では例外的に同値になる。）

スケールに依存する#

単位を変えると値が変わる。そこで正規化したのが相関係数。

$$\rho =\frac{\mathrm{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y}\in [-1,1]$$

この分野での役割#

共分散行列としてまとめると、 CMA-ES が学習する対象そのものになる。 変数間の相関を捉えることが、細長い谷を効率よく下る能力に直結する。

主成分分析も共分散行列の固有値分解。

参考文献#

• Larry Wasserman. All of Statistics: A Concise Course in Statistical Inference. Springer, 2004. https://doi.org/10.1007/978-0-387-21736-9
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006.（全文公開） https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/