共分散行列

$${\mathrm{\Sigma }}_{ij}=\mathrm{Cov}(X_i,X_j)=𝔼[(X_i-{\mu }_i)(X_j-{\mu }_j)]$$

対角成分が各変数の分散、 非対角成分が変数間の共分散。

性質#

• 対称（$\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$）
• 半正定値。任意の $a$ について $a^{\top }\mathrm{\Sigma }a=\mathrm{Var}(a^{\top }X)\ge 0$

半正定値性は分散が非負であることの言い換えにすぎない。 だから共分散行列として妥当かどうかは、固有値が非負かで確かめられる。

楕円として読む#

多変量正規分布の等確率面は楕円体になり、 その形が $\mathrm{\Sigma }$ で決まる。

• 固有ベクトル … 楕円の軸の向き
• 固有値の平方根 … 各軸方向の標準偏差

CMA-ES の探索分布も この行列を学習する。 主成分分析も同じ行列の固有値分解。

標本共分散#

$$\hat{\mathrm{\Sigma }}=\frac{1}{n-1}\sum _{k=1}^n(x_k-\bar{x}){(x_k-\bar{x})}^{\top }$$

$n-1$ で割るのは不偏推定にするため。

標本数が次元より少ない（$n<d$）と特異になる。 高次元データでこれは深刻で、縮小推定（Ledoit-Wolf など）で対処する。 CMA-ES が共分散を毎世代少しずつしか更新しないのも、 少ない標本から一度に推定するのを避けるため。

参考文献#

• Olivier Ledoit, Michael Wolf. A well-conditioned estimator for large-dimensional covariance matrices. Journal of Multivariate Analysis 88(2), 2004. https://doi.org/10.1016/S0047-259X(03)00096-4
• Gilbert Strang. Introduction to Linear Algebra. Wellesley-Cambridge Press. 講義は MIT OCW 18.06 https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/