テイラー展開

$$f(x+h)=f(x)+\nabla f^{\top }h+\frac{1}{2}{h}^{\top }Hh+𝒪(\Vert h{\Vert }^3)$$

関数を、その点の近くで多項式に置き換える。

最適化の全体像がここにある#

ほとんどの最適化手法は、この展開をどこで打ち切るかで分類できる。

打ち切り	得られる手法
一次まで	勾配降下法。$-\nabla f$ 方向へ進む
二次まで	Newton 法。二次関数の底へ飛ぶ
二次（近似）	準 Newton 法、信頼領域法

つまり「関数を局所的に何次まで信じるか」が手法の違いになっている。

近似が効く範囲#

展開は $h$ が小さいときにしか信用できない。 剰余項が $𝒪(\Vert h{\Vert }^3)$ なので、 遠くへ飛ぶと近似が崩れる。

これが直線探索や信頼領域法が必要な理由。 Newton 法が「解の近くでは速いが遠方では暴れる」のは、 二次近似が遠方で当てにならないため。

剰余項#

Lagrange の剰余項により、誤差を定量化できる。

$$R_k=\frac{f^{(k+1)}(\xi )}{(k+1)!}{h}^{k+1}$$

数値微分の誤差評価も、 数値積分の誤差評価も、この形から導かれる。

参考文献#

• Jorge Nocedal, Stephen J. Wright. Numerical Optimization, 2nd ed. Springer, 2006. https://doi.org/10.1007/978-0-387-40065-5
• Michael Spivak. Calculus on Manifolds. Westview Press, 1965. https://doi.org/10.1201/9780429501906