ファインチューニング

事前学習済みモデルを、 特定の用途に合わせて追加学習する。

主な種類#

種類	目的
教師ありファインチューニング (SFT)	指示に従う形式を学ぶ
RLHF	人間の選好に合わせる
DPO	RLHF を報酬モデルなしで行う
ドメイン適応	専門分野の知識・語彙

RLHF#

1. 人間が複数の応答に順位を付ける
2. その順位を再現する報酬モデルを学習する
3. 報酬を最大化するよう、強化学習（PPO）で 言語モデルを更新する

事前学習は「もっともらしい続き」を学ぶだけで、 有用さや安全性は目的関数に入っていない。 RLHF はそこを人間の判断で補う。

DPO は報酬モデルを介さず、 選好データから直接方策を最適化する。 実装が単純で安定するため広く使われるようになった。

パラメータ効率の良い手法#

全パラメータを更新するのは高価。

LoRA は重みの更新を低ランク行列で表す。

$$W^{\prime }=W+BA,B\in {ℝ}^{d\times r},A\in {ℝ}^{r\times k},r\ll d$$

学習するのは $A$、$B$ だけ。 パラメータが 1 万分の 1 程度になり、 低ランク近似がそのまま応用されている。

破滅的忘却#

新しいタスクを学ぶと元の能力が失われることがある。 学習率を小さくする、元データを混ぜる、 LoRA のように元の重みを凍結する、といった対処がある。

参考文献#

• Long Ouyang et al. Training language models to follow instructions with human feedback. NeurIPS, 2022. https://arxiv.org/abs/2203.02155
• Edward J. Hu et al. LoRA: Low-Rank Adaptation of Large Language Models. ICLR, 2022. https://arxiv.org/abs/2106.09685
• Rafael Rafailov et al. Direct Preference Optimization. NeurIPS, 2023. https://arxiv.org/abs/2305.18290