数値微分

$$f^{\prime }(x)\approx \frac{f(x+h)-f(x)}{h}\text{(前進差分)}$$ $$f^{\prime }(x)\approx \frac{f(x+h)-f(x-h)}{2h}\text{(中心差分)}$$

2 つの誤差の綱引き#

誤差	$h$ を小さくすると
打ち切り誤差 $𝒪(h)$ or $𝒪(h^2)$	減る
丸め誤差 $𝒪(\epsilon /h)$	増える（桁落ち）

合計を最小にする $h$ が存在する。

• 前進差分 … $h\approx \sqrt{\epsilon }\approx {10}^{-8}$
• 中心差分 … $h\approx {\epsilon }^{1/3}\approx 6\times {10}^{-6}$

$h$ を小さくすればよい、は誤り。

コスト#

$n$ 次元の勾配を求めるには

• 前進差分 … $n+1$ 回の評価
• 中心差分 … $2n$ 回の評価

この $n$ 倍が、量子計算で SPSA（次元によらず 2 回）が 選ばれる直接の理由。

自動微分という別解#

自動微分は差分ではなく連鎖律を機械的に適用する。

• 打ち切り誤差が無い（機械精度）
• 逆モードなら、全パラメータの勾配が関数評価 1 回ぶん程度のコスト

微分可能な計算グラフとして書けるなら、数値微分を使う理由はほぼ無い。

参考文献#

• William H. Press et al. Numerical Recipes, 3rd ed. Cambridge University Press, 2007. https://numerical.recipes/
• Atılım Güneş Baydin et al. Automatic Differentiation in Machine Learning: a Survey. JMLR 18, 2018. https://jmlr.org/papers/v18/17-468.html