極限

$$\underset{x\to a}{\lim }f(x)=L$$

$x$ を $a$ に近づけたとき、$f(x)$ がどこへ向かうか。 $x=a$ での値そのものは問わない。

厳密な定義#

$$\forall \epsilon >0,\exists \delta >0:0<|x-a|<\delta \Rightarrow |f(x)-L|<\epsilon$$

「どんなに厳しい精度 $\epsilon$ を要求されても、 十分近づければ ($\delta$) その精度に収まる」。 要求が先、対処が後という順序が定義の核心。

なぜ必要なのか#

微分も積分も「無限に小さくする」操作を含む。 $\frac{f(x+h)-f(x)}{h}$ で $h\to 0$ とすると $0/0$ になり、 そのままでは意味を持たない。 極限はこの操作に厳密な意味を与えるために導入された。

連続性#

$$\underset{x\to a}{\lim }f(x)=f(a)$$

極限値と関数値が一致することが連続の定義。 微分可能なら連続だが、逆は成り立たない （$|x|$ は $0$ で連続だが微分できない）。

最適化では微分できない点が実際に問題になる。 ReLU、絶対値、max 演算はすべて折れ点を持つ。 劣勾配という拡張で扱う。

参考文献#

• MIT OCW 18.01 Single Variable Calculus https://ocw.mit.edu/courses/18-01-single-variable-calculus-fall-2006/
• Walter Rudin. Principles of Mathematical Analysis, 3rd ed. McGraw-Hill, 1976. https://archive.org/details/principlesofmath00rudi