射影

ベクトルを、ある部分空間に「落とす」変換。

$$P_v(x)=\frac{⟨x,v⟩}{⟨v,v⟩}v$$

$v$ 方向への射影。$v$ が単位ベクトルなら $P=v{v}^{\top }$。

射影行列の特徴づけ#

$$P^2=P(\text{冪等})$$

一度落とした先をもう一度落としても変わらない。 直交射影ならさらに $P^{\top }=P$（対称）。 この 2 条件が直交射影行列の定義になる。

固有値は 0 か 1 のみ。1 の固有空間が射影先、0 の固有空間が捨てられる方向。

最小二乗法#

$Ax=b$ が解けないとき（$b$ が $A$ の列空間に無い）、 $b$ を列空間へ射影した点が最も近い到達点。

$$\hat{x}={(A^{\top }A)}^{-1}{A}^{\top }b$$

残差 $b-A\hat{x}$ が列空間と直交する、 という条件から直ちに導かれる。回帰分析の正規方程式そのもの。

他の場面#

• 制約付き最適化の射影法。 更新のたびに実行可能領域へ落とす
• 固有値分解の $\sum {\lambda }_i{q}_i{q}_i^{\top }$ は 射影の重み付き和
• 量子測定。測定は状態を固有空間へ射影する操作として定式化される

参考文献#

• Gilbert Strang. Introduction to Linear Algebra. Wellesley-Cambridge Press. 講義は MIT OCW 18.06 https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
• Sheldon Axler. Linear Algebra Done Right, 4th ed. Springer, 2024.（全文公開） https://linear.axler.net/