事前学習
大量のテキストで、次のトークンを予測する訓練。
ラベル付けが不要で、テキストがあればいくらでも学習できる （自己教師あり学習）。
なぜこれで言語が学べるのか#
次の単語を正しく予測するには、 文法、事実、論理、文脈をすべて理解する必要がある。
「日本の首都は___」 → 事実の知識
「彼女は疲れていたので___」→ 因果の理解
「2 + 3 = ___」 → 演算の規則単一の目的関数が、多様な能力を要求する。 これが事前学習の効率の源。
規模#
| 要素 | 現代のモデルの目安 |
|---|---|
| データ | 数兆トークン |
| パラメータ | |
| 計算 | FLOPs |
スケーリング則と Chinchilla#
Kaplan らはモデルサイズ・データ・計算量に対する べき則を示し、大規模化を正当化した。
Hoffmann らは、当時のモデルはデータ不足だったと指摘した。 計算予算が決まっているなら、 パラメータとトークン数をおよそ同じ割合で増やすのが最適 （パラメータ 1 個あたり約 20 トークン）。
この指摘により、 「巨大モデルを少ないデータで」から 「適度なモデルを大量のデータで」へ設計方針が変わった。
参考文献#
- Jared Kaplan et al. Scaling Laws for Neural Language Models. 2020. https://arxiv.org/abs/2001.08361
- Jordan Hoffmann et al. Training Compute-Optimal Large Language Models. 2022. https://arxiv.org/abs/2203.15556
- Dan Jurafsky, James H. Martin. Speech and Language Processing, 3rd ed. draft.（全文公開） https://web.stanford.edu/~jurafsky/slp3/