機械学習

データから規則を推定し、未知のデータに一般化する枠組み。

何を最小化しているのか#

本当に小さくしたいのは、まだ見ぬデータに対する誤差（汎化誤差）。

$$R(\theta )={𝔼}_{(x,y)\sim p}[L(f_{\theta }(x),y)]$$

しかし $p$ は分からないので、手元のデータでの平均（経験誤差）を代わりに最小化する。

$$\hat{R}(\theta )=\frac{1}{m}\sum _{i}L(f_{\theta }(x_i),y_i)$$

この差が過学習の正体。

分類#

種類	教師	例
教師あり	正解ラベルがある	回帰、分類
教師なし	無い	クラスタリング、次元削減
強化学習	報酬	制御、ゲーム

参考文献#

• Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning, 2nd ed. Springer, 2009.（全文公開） https://hastie.su.domains/ElemStatLearn/
• Kevin P. Murphy. Probabilistic Machine Learning: An Introduction. MIT Press, 2022. https://probml.github.io/pml-book/book1.html
• Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer, 2006. https://www.microsoft.com/en-us/research/publication/pattern-recognition-machine-learning/