ヤコビ行列 — 知識ノート

ベクトル値関数 $f : ℝ^{n} \to ℝ^{m}$ の一階微分。

J_{i j} = \frac{\partial f_{i}}{\partial x_{j}}, J \in ℝ^{m \times n}

各行が各出力成分の勾配（の転置）。

局所的な線形近似#

f (x + h) \approx f (x) + J h

その点の近くで、 $f$ を線形写像 $J$ で置き換える。 これがヤコビ行列の意味で、非線形な写像に線形代数を適用する橋渡しになる。

$m = 1$ なら $J = \nabla f^{⊤}$ （勾配の転置）。

$\det J$ が局所的な体積の拡大率。重積分の変数変換で $| \det J |$ が現れるのはこのため。確率変数の変換で密度関数に $| \det J |^{- 1}$ が付くのも同じ理屈で、正規化フローなどの生成モデルはこの性質を使っている。

連鎖律はヤコビ行列の積として書ける。

J_{f \circ g} = J_{f} \cdot J_{g}

深層学習は $J_{L} \dots J_{2} J_{1}$ の計算で、掛ける順序の選択が forward mode と reverse mode の違いになる。

Michael Spivak. Calculus on Manifolds. Westview Press, 1965. https://doi.org/10.1201/9780429501906
Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016. https://www.deeplearningbook.org/