分類

離散的なラベルを予測する。

ロジスティック回帰#

名前は回帰だが分類手法。線形の出力を確率に変換する。

$$p(y=1|x)=\sigma (w^{\top }x+b),\sigma (z)=\frac{1}{1+e^{-z}}$$

多クラスなら softmax。

$$p(y=k|x)=\frac{e^{z_k}}{{\sum }_j{e}^{z_j}}$$

交差エントロピー損失#

$$L=-\sum _k{y}_k\log {\hat{p}}_k$$

カテゴリ分布の最尤推定から出る。 正解ラベルの予測確率の対数を最大化しているだけ。

対数を取るのは、積を和にして数値的に安定させるため。

評価指標#

正解率だけでは不十分。不均衡データでは 「全部を多数派と答える」だけで高い正解率になる。

指標	定義	重視する場面
適合率	陽性と予測したうち本当に陽性	誤検知を避けたい
再現率	本当の陽性のうち検出できた	見逃しを避けたい
F1	両者の調和平均	バランス
AUC	閾値によらない順位の良さ	閾値を後で決める

適合率と再現率はトレードオフ。 閾値を動かせば片方は上がり他方は下がる。 どちらを重視するかは問題設定で決まる。

基準率の錯誤と同じく、 陽性の事前確率が低いと適合率は原理的に低くなる。

参考文献#

• Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning, 2nd ed. Springer, 2009.（全文公開） https://hastie.su.domains/ElemStatLearn/
• Kevin P. Murphy. Probabilistic Machine Learning: An Introduction. MIT Press, 2022. https://probml.github.io/pml-book/book1.html