過学習と汎化

訓練データに合わせすぎて、未知のデータで性能が落ちること。

$$\hat{R}(\theta )\ll R(\theta )$$

経験誤差は小さいのに汎化誤差が大きい状態。

バイアス・バリアンス分解#

$$𝔼[{(y-\hat{f})}^2]=\underset{\text{表現力不足}}{\underbrace{{\text{バイアス}}^2}}+\underset{\text{データへの過敏さ}}{\underbrace{\text{バリアンス}}}+\underset{\text{避けられない誤差}}{\underbrace{{\sigma }^2}}$$

古典的には、モデルを複雑にするとバイアスが減りバリアンスが増える。 両者の和が最小になる複雑さが最適、という U 字型の描像。

対策#

手法	内容
データを増やす	最も確実
正則化	$L_1$/$L_2$、Dropout、データ拡張
早期終了	検証誤差が悪化したら止める
モデルを小さくする	表現力を制限する
交差検証	汎化性能を正しく見積もる

二重降下#

深層学習では古典的な U 字型が成り立たないことがある。

パラメータ数を増やしていくと、 訓練誤差が 0 になる点（補間閾値）でテスト誤差が一度悪化し、 さらに増やすと再び改善する。

$$\text{テスト誤差}:\searrow \nearrow \searrow$$

Belkin らが整理したこの現象は、 「パラメータが多すぎると過学習する」という 古典的な理解が単純すぎることを示した。

過剰にパラメータを持つモデルが汎化する理由は 完全には解明されておらず、 最適化の暗黙の正則化などが候補として議論されている。

参考文献#

• Trevor Hastie, Robert Tibshirani, Jerome Friedman. The Elements of Statistical Learning, 2nd ed. Springer, 2009.（全文公開） https://hastie.su.domains/ElemStatLearn/
• Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016.（全文公開） https://www.deeplearningbook.org/
• Mikhail Belkin et al. Reconciling modern machine-learning practice and the classical bias–variance trade-off. PNAS 116(32), 2019. https://doi.org/10.1073/pnas.1903070116