合成関数の微分

$$\frac{d}{dx}f(g(x))=f^{\prime }(g(x))\cdot g^{\prime }(x)$$

外側の微分 × 内側の微分。

直感#

$x$ が少し動くと $g$ が $g^{\prime }$ 倍だけ動き、 $g$ が動くと $f$ が $f^{\prime }$ 倍だけ動く。 変化率が掛け算で伝わる。

$$\frac{df}{dx}=\frac{df}{dg}\cdot \frac{dg}{dx}$$

分数のように約分できる形で書けるのは偶然ではなく、 微分が線形近似の合成だから。

多変数への拡張#

多変数では連鎖律となり、 掛け算が行列の積になる。

$$\frac{\partial z}{\partial x}=\frac{\partial z}{\partial y}\frac{\partial y}{\partial x}$$

どこで効くか#

ニューラルネットワークは関数の合成そのもの。

$$f=f_L\circ f_{L-1}\circ \cdots \circ f_1$$

この微分を計算するのが 誤差逆伝播法で、 合成関数の微分則を層の数だけ適用しているだけ。

参考文献#

• MIT OCW 18.01 Single Variable Calculus https://ocw.mit.edu/courses/18-01-single-variable-calculus-fall-2006/
• Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016. https://www.deeplearningbook.org/