行列の逆平方根

$$A^{-1/2}=(A^{1/2}{)}^{-1}=Q{\mathrm{\Lambda }}^{-1/2}{Q}^{\top }$$

固有値分解の対角成分を $1/\sqrt{{\lambda }_i}$ に置き換えるだけ。 $A$ は正定値（固有値がすべて正）である必要がある。

白色化#

これを掛けると、共分散が単位行列になる。

$$x\sim 𝒩(\mu ,\mathrm{\Sigma })⟹{\mathrm{\Sigma }}^{-1/2}(x-\mu )\sim 𝒩(0,I)$$

歪んだ楕円分布を、真ん丸な標準正規に戻す操作。 これを白色化 (whitening) と呼ぶ。

なぜ嬉しいのか#

球状に戻すと、距離の意味が方向によらなくなる。

場面	白色化する理由
Mahalanobis 距離	$\sqrt{{(x-\mu )}^{\top }{\mathrm{\Sigma }}^{-1}(x-\mu )}=\Vert {\mathrm{\Sigma }}^{-1/2}(x-\mu )\Vert$
CMA-ES	進化パスの長さを分布の形に依らず測る
機械学習の前処理	特徴量のスケール差を消す

数値的な注意#

固有値が 0 に近いと $1/\sqrt{\lambda }$ が発散する。 条件数が大きい行列では 小さい固有値に切り捨てを入れる（正則化）のが実務的な対処。

参考文献#

• Nicholas J. Higham. Functions of Matrices: Theory and Computation. SIAM, 2008. https://doi.org/10.1137/1.9780898717778
• Gene H. Golub, Charles F. Van Loan. Matrix Computations, 4th ed. Johns Hopkins University Press, 2013. https://www.press.jhu.edu/books/title/10678/matrix-computations