大規模言語モデル

大量のテキストで学習した、次のトークンを予測するモデル。 LLM。

$$p(w_1,\dots ,w_T)=\prod _{t}p(w_t|w_{<t})$$

やっていることは条件付き確率の連鎖で 文章の確率を分解し、各項をTransformer で モデル化することだけ。

構成要素#

段階	内容
トークン化	テキストをトークンの列にする
埋め込み	トークンをベクトルにする
Self-Attention	トークン間の関係を計算
事前学習	次トークン予測で大量に学習
ファインチューニング	用途に合わせて調整
推論・サンプリング	生成

スケーリング則#

モデルサイズ、データ量、計算量に対して 損失がべき則で改善することが経験的に見出されている。

$$L\propto N^{-\alpha }$$

これが大規模化を正当化した。 Chinchilla の研究は、当時のモデルが データに対してパラメータが多すぎた（データ不足だった）と示し、 配分の指針を修正した。

参考文献#

• Dan Jurafsky, James H. Martin. Speech and Language Processing, 3rd ed. draft.（全文公開） https://web.stanford.edu/~jurafsky/slp3/
• Jared Kaplan et al. Scaling Laws for Neural Language Models. 2020. https://arxiv.org/abs/2001.08361
• Jordan Hoffmann et al. Training Compute-Optimal Large Language Models. 2022. https://arxiv.org/abs/2203.15556