教師あり学習

入力と正解の組から、対応関係を学ぶ。

$$𝒟={\{(x_i,y_i)\}}_{i=1}^m⟶f:X\to Y$$

2 種類#

出力	種類	例
連続値	回帰	価格予測、エネルギー予測
離散ラベル	分類	画像認識、スパム判定

損失関数#

課題	損失	由来
回帰	二乗誤差	正規分布の最尤推定
分類	交差エントロピー	カテゴリ分布の最尤推定

どちらも最尤推定として導ける。 損失関数は恣意的に選ばれているのではなく、 仮定した確率モデルから出てくる。

ラベルという制約#

正解を人手で付ける必要があり、これが実務上の最大のコスト。

• 医療画像 … 専門医の判断が要る
• 大規模データ … 数百万件のラベル付けは非現実的

そのため

• 自己教師あり学習 — データ自身から擬似的なラベルを作る
• 転移学習 — 大規模データで学習したモデルを流用する

が発展した。LLM の事前学習は 「次の単語を当てる」という自己教師ありの典型例。

参考文献#

• Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning, 2nd ed. Springer, 2009.（全文公開） https://hastie.su.domains/ElemStatLearn/
• Kevin P. Murphy. Probabilistic Machine Learning: An Introduction. MIT Press, 2022. https://probml.github.io/pml-book/book1.html