微分積分
関数が局所的にどう変化するかを測る道具。最適化では「どちらへ動けば良くなるか」を与える。
関数が局所的にどう変化するかを測る道具。
最適化にとっての意味は明確で、 「いまいる点から、どちらへどれだけ動けば良くなるか」を教えてくれる。
この分野で使う順序#
| 概念 | 何を与えるか |
|---|---|
| 微分 | 1 変数での変化率 |
| 偏微分 | 多変数で、1 方向だけの変化率 |
| 勾配 | 最も増える方向。勾配法の出発点 |
| ヤコビ行列 | ベクトル値関数の一階微分 |
| ヘッセ行列 | 二階微分。曲がり具合 |
| テイラー展開 | 局所的に多項式で近似する |
| 連鎖律 | 合成関数の微分。誤差逆伝播の正体 |
参考文献#
- MIT OCW 18.01 Single Variable Calculus https://ocw.mit.edu/courses/18-01-single-variable-calculus-fall-2006/
- MIT OCW 18.02 Multivariable Calculus https://ocw.mit.edu/courses/18-02-multivariable-calculus-fall-2007/
- Michael Spivak. Calculus on Manifolds. Westview Press, 1965. https://doi.org/10.1201/9780429501906