方向微分

$$D_{u}f(x)=\underset{h\to 0}{\lim }\frac{f(x+hu)-f(x)}{h}=\nabla f{(x)}^{\top }u$$

指定した方向 $u$（単位ベクトル）に沿った変化率。

偏微分の一般化#

$u=e_i$ とすれば偏微分そのもの。 方向微分は軸方向に限らない、任意の方向についての変化率を与える。

勾配との関係#

$$D_{u}f=\Vert \nabla f\Vert \cos \theta$$

$\theta$ は $u$ と $\nabla f$ のなす角。

$\theta$	意味
0	最も増える。勾配方向
$\pi /2$	変化しない。等高線に沿う方向
$\pi$	最も減る。降下方向

最適化での使い方#

$d$ が降下方向であるとは $\nabla f^{\top }d<0$ のこと。 勾配降下法は $d=-\nabla f$ を取るが、 $\nabla f^{\top }d<0$ を満たせば何でも降下方向になる。

Newton 法の $d=-H^{-1}\nabla f$ が 降下方向であるためには $H$ が正定値である必要があり、 そうでないときに修正が要る理由がここにある。

参考文献#

• MIT OCW 18.02 Multivariable Calculus https://ocw.mit.edu/courses/18-02-multivariable-calculus-fall-2007/
• Jorge Nocedal, Stephen J. Wright. Numerical Optimization, 2nd ed. Springer, 2006. https://doi.org/10.1007/978-0-387-40065-5