ニューラルネットワークの学習

1 ステップの流れ#

1. ミニバッチを取り出す
2. 順伝播で予測と損失を計算
3. 逆伝播で勾配を計算
4. 最適化器がパラメータを更新

これを何万〜何百万回繰り返す。

最適化としての性質#

性質	内容
非凸	局所解・鞍点が多数
高次元	パラメータ ${10}^6\sim {10}^{12}$
確率的	ミニバッチによるノイズ
二階手法が使えない	ヘッセ行列が持てない

そのためSGD と Adam が事実上の選択肢になる。

初期化が効く#

すべて 0 だと、全ニューロンが同じ勾配を受けて同じ値のまま （対称性が破れない）。

初期化	適する活性化
Xavier / Glorot	tanh、シグモイド
He	ReLU

いずれも層を通しても分散が保たれるようスケールを決めている。 初期化を誤ると学習が始まらない。

学習率のスケジュール#

固定より、変化させる方がよいことが多い。

• ウォームアップ — 最初は小さく、徐々に上げる。序盤の不安定を避ける
• 減衰 — コサイン減衰、ステップ減衰。終盤で細かく詰める

正規化#

バッチ正規化、層正規化は 層の出力の分布を揃えることで学習を安定させる。 Transformer では層正規化が標準。

参考文献#

• Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016.（全文公開） https://www.deeplearningbook.org/
• Aston Zhang et al. Dive into Deep Learning. Cambridge University Press, 2023.（全文公開） https://d2l.ai/
• Kaiming He et al. Delving Deep into Rectifiers. ICCV, 2015. https://arxiv.org/abs/1502.01852