サンプリング

確率分布から次のトークンを選ぶ方法。生成の質と多様性を決める。

主な手法#

手法	内容
貪欲法	最も確率の高いトークンを選ぶ。決定的
ビームサーチ	複数候補を保持して系列全体の確率を最大化
温度サンプリング	$p_i\propto \exp (z_i/T)$
Top-k	上位 $k$ 個に絞ってサンプリング
Top-p (nucleus)	累積確率が $p$ になるまでの候補に絞る

温度#

$$p_i=\frac{\exp (z_i/T)}{{\sum }_j\exp (z_j/T)}$$

$T$	振る舞い
$\to 0$	貪欲法に近づく。決定的、繰り返しやすい
$=1$	学習した分布のまま
$>1$	平坦化。多様だが破綻しやすい

焼きなまし法の温度と まったく同じ形の式で、 探索と活用の配分を制御している点も同じ。

なぜ貪欲法では駄目なのか#

最も確率の高いトークンを選び続けると、 同じ表現を繰り返す退化した文章になりやすい。

Holtzman らはこれを「neural text degeneration」と呼び、 人間の文章は常に最高確率の語を選んではいないことを示した。 自然な文章には適度な予測不可能性がある。

Top-p はこの観察から提案された。 分布の裾（低確率の不適切な候補）は切りつつ、 上位の中では確率に応じて選ぶ。

ビームサーチの限界#

系列全体の確率を最大化するので翻訳や要約では有効だが、 開放的な生成では退屈な文になる。 確率が高い＝ありふれた表現、だから。

参考文献#

• Ari Holtzman et al. The Curious Case of Neural Text Degeneration. ICLR, 2020. https://arxiv.org/abs/1904.09751
• Angela Fan, Mike Lewis, Yann Dauphin. Hierarchical Neural Story Generation. ACL, 2018. https://arxiv.org/abs/1805.04833
• Dan Jurafsky, James H. Martin. Speech and Language Processing, 3rd ed. draft.（全文公開） https://web.stanford.edu/~jurafsky/slp3/