ヘッセ行列 — 知識ノート

二階偏導関数を並べた行列。

H_{i j} = \frac{\partial^{2} f}{\partial x_{i} \partial x_{j}}, H \in ℝ^{n \times n}

対称である#

$f$ が $C^{2}$ 級なら偏微分の順序交換が成り立ち、 $H$ は対称行列になる。

対称だから固有値が実数、固有ベクトルが直交する。これにより二次形式 $d^{⊤} H d$ の形が 固有値の符号だけで分類できる。

$\nabla f = 0$ の点で

テイラー展開の二次の項が $\frac{1}{2} d^{⊤} H d$ 。つまり $H$ は関数の曲率を表す。

固有値の比が条件数で、これが大きいと谷が細長くなり勾配降下法がジグザグする。 Newton 法が $H^{- 1}$ を掛けるのは、この歪みを打ち消して座標系を正規化するため。

$H$ は $n \times n$ 。パラメータが $10^{6}$ なら $10^{12}$ 要素。深層学習で Newton 法が使われないのはこのため。準 Newton 法や CMA-ES は、これを陽に持たずに近似する方策。

Jorge Nocedal, Stephen J. Wright. Numerical Optimization, 2nd ed. Springer, 2006. https://doi.org/10.1007/978-0-387-40065-5
Stephen Boyd, Lieven Vandenberghe. Convex Optimization. Cambridge University Press, 2004. https://web.stanford.edu/~boyd/cvxbook/