勾配 — 知識ノート

\nabla f = {(\frac{\partial f}{\partial x_{1}}, \dots, \frac{\partial f}{\partial x_{n}})}^{⊤}

偏微分を並べたベクトル。

最も急に増える方向#

方向微分 $\nabla f^{⊤} u$ は、 $u = \nabla f / ‖ \nabla f ‖$ のときに最大になる（Cauchy-Schwarz）。

つまり勾配は最急上昇方向を指し、その大きさが傾きの急さ。最小化なら $- \nabla f$ の向きへ進む。これが勾配降下法。

$\nabla f$ は等高線（等値面）に垂直。等高線に沿って動いても値は変わらない（方向微分 0）ので、値が変わる方向はそれと直交する向きしかない。

$n$ 次元でも勾配は 1 つのベクトルで、そこから任意方向の変化率が内積で得られる。これが勾配法の効率の源で、方向を探るのに何度も評価が要る導関数を使わない手法との差になる。

ただし勾配そのものを得るコストは手法による。自動微分なら関数評価とほぼ同じコスト、数値微分なら $n$ 倍、量子回路のパラメータシフト則なら $𝒪 (n)$ 回の回路実行。

$\nabla f = 0$ は極小・極大・鞍点のいずれでも起きる。高次元では鞍点の方が圧倒的に多いことが知られており、局所解より鞍点が学習の障害になる。

barren plateau は、勾配の分散そのものが指数的に小さくなる別種の問題。

MIT OCW 18.02 Multivariable Calculus https://ocw.mit.edu/courses/18-02-multivariable-calculus-fall-2007/
Jorge Nocedal, Stephen J. Wright. Numerical Optimization, 2nd ed. Springer, 2006. https://doi.org/10.1007/978-0-387-40065-5
Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016. https://www.deeplearningbook.org/