ランク

線形独立な列（または行）の最大個数。 行に着目しても列に着目しても同じ値になる。

$$\mathrm{rank}(A)\le \min (m,n)$$

意味#

$A$ の像（値域）の次元。${ℝ}^n$ を $A$ で写したとき、 結果が何次元の空間に収まるか。

$\mathrm{rank}(A)=r<n$ なら、$n-r$ 次元ぶんの情報が潰れている。 潰れた方向の集合が核 (null space) で、次元定理が成り立つ。

$$\mathrm{rank}(A)+\dim (\ker A)=n$$

低ランク近似#

実データの行列は、多くの場合ほぼ低ランク。 特異値分解して小さい特異値を切り捨てると、 少ないパラメータで良い近似が得られる（Eckart-Young の定理）。

主成分分析、推薦システム、モデル圧縮（LoRA など）は すべてこの性質を使っている。

数値的なランク#

理論上のランクは、浮動小数点では意味をなさない。 丸め誤差で 0 であるべき特異値が ${10}^{-16}$ 程度になるため。

実用ではしきい値より大きい特異値の個数を数値的ランクとする。 SVD が最も信頼できる判定法。

参考文献#

• Lloyd N. Trefethen, David Bau III. Numerical Linear Algebra. SIAM, 1997. https://doi.org/10.1137/1.9780898719574
• Gilbert Strang. Introduction to Linear Algebra, 6th ed. Wellesley-Cambridge Press, 2023. 講義は MIT OCW 18.06 で公開 https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/