特異値分解

任意の行列に対して常に存在する分解。 SVD。

$$A=U\mathrm{\Sigma }{V}^{\top },A\in {ℝ}^{m\times n}$$

• $U\in {ℝ}^{m\times m}$、$V\in {ℝ}^{n\times n}$ … 直交行列
• $\mathrm{\Sigma }$ … 対角に非負の特異値 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge 0$

固有値分解との違い#

	固有値分解	特異値分解
対象	対称な正方行列	任意の行列（長方形でよい）
存在	条件付き	常に存在する
値	実数（符号あり）	非負

「常に存在する」ことが決定的で、数値線形代数で最も信頼される道具になっている。

幾何的な読み方#

任意の線形変換は「回転 → 軸方向の伸縮 → 回転」に分解できる。 $V^{\top }$ で回し、$\mathrm{\Sigma }$ で伸ばし、$U$ で回す。 単位球は必ず楕円体に写る、という主張でもある。

何に使えるか#

用途	使い方
ランクの判定	0 でない特異値の個数
低ランク近似	上位 $k$ 個だけ残す。この打ち切りが最良（Eckart-Young）
条件数	$\kappa ={\sigma }_{\max }/{\sigma }_{\min }$
疑似逆行列	最小二乗解を与える
主成分分析	データ行列の SVD が直接 PCA になる

参考文献#

• Lloyd N. Trefethen, David Bau III. Numerical Linear Algebra. SIAM, 1997. https://doi.org/10.1137/1.9780898719574
• Gene H. Golub, Charles F. Van Loan. Matrix Computations, 4th ed. Johns Hopkins University Press, 2013. https://www.press.jhu.edu/books/title/10678/matrix-computations
• Carl Eckart, Gale Young. The approximation of one matrix by another of lower rank. Psychometrika 1, 1936. https://doi.org/10.1007/BF02288367