強化学習
試行錯誤で報酬最大化を学ぶ枠組み。正解ではなく報酬しか与えられない点が教師あり学習と異なる。
試行錯誤を通じて、報酬を最大化する行動を学ぶ枠組み。
教師あり学習との違いは明確。
| 教師あり学習 | 強化学習 | |
|---|---|---|
| 与えられるもの | 正解ラベル | 報酬（正解ではない） |
| 評価のタイミング | 即座 | 遅延しうる |
| データ | 固定 | 自分の行動が次のデータを決める |
「この手が正しい」とは教えられず、 「最終的に勝った / 負けた」しか分からない状況で学ぶ。
中心的な難しさ#
- 信用割当 — 遅れて来た報酬を、どの行動の手柄にするか
- 探索と活用 — 既知の良い手を使うか、未知を試すか
- 非定常性 — 方策が変われば直面する状況も変わる
構成#
RLHF も 強化学習の枠組みを LLM の調整に応用したもの。
参考文献#
- Richard S. Sutton, Andrew G. Barto. Reinforcement Learning: An Introduction, 2nd ed. MIT Press, 2018.（全文公開） http://incompleteideas.net/book/the-book-2nd.html
- Volodymyr Mnih et al. Human-level control through deep reinforcement learning. Nature 518, 2015. https://doi.org/10.1038/nature14236