数値計算

有限の精度と有限の時間で、数学的な操作を近似する分野。

紙の上の数学と計算機の上の計算は違う。 その差から何が起き、どう対処するかを扱う。

2 種類の誤差#

誤差	原因
丸め誤差	実数を有限桁で表すことによる
打ち切り誤差	無限の操作を有限で止めることによる

数値微分は両方を含み、 刻み幅を小さくすると打ち切り誤差は減るが丸め誤差が増える、 という綱引きになる。

この分野で効いてくる場面#

• CMA-ES の共分散行列が 数値的に対称性を失う
• QUBO の係数がハードウェアの ダイナミックレンジに収まらない
• 悪条件な問題で逆行列が信用できない

参考文献#

• David Goldberg. What Every Computer Scientist Should Know About Floating-Point Arithmetic. ACM Computing Surveys 23(1), 1991. https://doi.org/10.1145/103162.103163
• Nicholas J. Higham. Accuracy and Stability of Numerical Algorithms, 2nd ed. SIAM, 2002. https://doi.org/10.1137/1.9780898718027
• Lloyd N. Trefethen, David Bau III. Numerical Linear Algebra. SIAM, 1997. https://doi.org/10.1137/1.9780898719574