微分

$$f^{\prime }(x)=\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h}$$

その点での変化率、あるいは接線の傾き。

局所的な線形近似#

微分のもう一つの読み方が本質的。

$$f(x+h)\approx f(x)+f^{\prime }(x)h$$

曲がった関数を、その点の近くで直線で置き換える。 これが微分の実用的な意味で、 線形代数の道具を非線形な問題に持ち込むための橋渡しになる。

多変数に一般化するとヤコビ行列、 二次まで拡げるとテイラー展開。

最適化での役割#

$f^{\prime }(x)=0$ が極値の必要条件。 これを解く、あるいは $f^{\prime }$ の符号を使って下る、 というのが微分に基づく最適化の全体像。

計算の 3 通り#

方法	内容	精度
手計算・記号微分	数式として導関数を求める	厳密
数値微分	差分で近似	誤差あり。桁落ちに注意
自動微分	連鎖律を計算グラフに適用	機械精度

深層学習のフレームワークが使うのは自動微分。 数値微分ではなく、記号微分でもない第三の方法である点が要点。

参考文献#

• MIT OCW 18.01 Single Variable Calculus https://ocw.mit.edu/courses/18-01-single-variable-calculus-fall-2006/
• Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016. https://www.deeplearningbook.org/