損失関数

モデルの出力と正解のずれを測る関数。 これを最小化する。

主な損失#

課題	損失	式
回帰	二乗誤差	${(y-\hat{y})}^2$
回帰（外れ値に強い）	Huber	小さい誤差は二乗、大きい誤差は線形
分類	交差エントロピー	$-{\sum }_k{y}_k\log {\hat{p}}_k$

最尤推定から出てくる#

損失は恣意的ではなく、仮定した確率モデルの負の対数尤度。

仮定	導かれる損失
誤差が正規分布	二乗誤差
出力がカテゴリ分布	交差エントロピー
誤差がラプラス分布	絶対誤差

だから「なぜこの損失なのか」は 「データがどんな分布に従うと仮定したか」と同じ問い。

勾配の形が効く#

交差エントロピー + softmax の勾配は

$$\frac{\partial L}{\partial z_k}={\hat{p}}_k-y_k$$

予測と正解の差そのものという単純な形になる。 シグモイド + 二乗誤差だと ${\sigma }^{\prime }(z)$ が掛かり、 飽和領域で勾配が消える。

分類に交差エントロピーを使うのは、この勾配の性質による。

参考文献#

• Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016.（全文公開） https://www.deeplearningbook.org/
• Kevin P. Murphy. Probabilistic Machine Learning: An Introduction. MIT Press, 2022. https://probml.github.io/pml-book/book1.html