全微分 — 知識ノート

d f = \sum_{i} \frac{\partial f}{\partial x_{i}} d x_{i} = \nabla f \cdot d x

すべての変数が同時に微小変化したときの、関数の変化量。

偏微分より強い条件#

全微分可能とは、次の線形近似が誤差 $o (‖ h ‖)$ で成り立つこと。

f (x + h) = f (x) + \nabla f {(x)}^{⊤} h + o (‖ h ‖)

これは「どの方向から近づいても、同じ 1 つの線形近似で説明できる」という主張。

偏微分がすべて存在しても全微分可能とは限らない。軸方向だけ良くても、斜め方向で破綻することがあるため。偏導関数が連続なら全微分可能になる（十分条件）。

最適化で使う $f (x + d) \approx f (x) + \nabla f^{⊤} d$ という近似は、全微分可能性に支えられている。微分できない点（ReLU の折れ目、絶対値の頂点）ではこの近似が成り立たず、劣勾配などの拡張が必要になる。