正則化

過学習を抑えるための工夫の総称。

主な手法#

手法	内容
$L_2$（重み減衰）	$\lambda \Vert w{\Vert }^2$ を損失に足す。重みを小さく保つ
$L_1$	$\lambda \Vert w{\Vert }_1$。重みが0 になる（疎になる）
Dropout	学習時にニューロンをランダムに無効化
データ拡張	回転・切り抜きなどで訓練データを水増し
早期終了	検証誤差が悪化したら止める
バッチ正規化	副作用として正則化にも効く
ラベル平滑化	正解確率を 1 でなく 0.9 などにする

Dropout#

学習時に各ニューロンを確率 $p$ で 0 にする。 推論時は全ニューロンを使い、出力をスケールする。

解釈としては 指数的に多くの部分ネットワークのアンサンブルを 1 つのネットワークで近似している、というもの。

$L_1$ と $L_2$ の違い#

$L_1$ で重みが 0 になるのは、 $L_1$ 球が座標軸上に尖った頂点を持つため。 制約領域と損失の等高線が頂点で接しやすい。

$L_2$ は 0 に近づけるが 0 にはしない。

重み減衰の注意#

Adam で $L_2$ 項を勾配に足す実装は、 $\sqrt{v}$ で割られてしまい本来の重み減衰にならない。 これを分離した AdamW が現在の標準。

暗黙の正則化#

明示的な正則化が無くても、 SGD のノイズや 早期終了が正則化として働くと考えられている。 二重降下で 過剰パラメータのモデルが汎化する理由の候補のひとつ。

参考文献#

• Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016.（全文公開） https://www.deeplearningbook.org/
• Nitish Srivastava et al. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. JMLR 15, 2014. https://jmlr.org/papers/v15/srivastava14a.html
• Ilya Loshchilov, Frank Hutter. Decoupled Weight Decay Regularization. ICLR, 2019. https://arxiv.org/abs/1711.05101