LLM 事後学習 (SFT / RLHF / DPO / RLVR / GRPO / 自己蒸留) を教師信号から眺めるここで \pi_\theta は、入力 x に対して応答 y を出す確率分布です。強化学習の言葉では、この確率分布を方策と呼びます。LLM では、ここまでの文脈から次に出すトークンを選ぶ確率分布として扱います。応答全体の確率は、各時点の出力確率の積として分解できます。 \pi_\theta(y \mid x) = \prod_{t=1}^{T} \pi_\theta(y_t \mid x, y_{\lt t}) 模範応答から学ぶ 回答形式、文体、基本的な解き方を入れるには、入力と模範応答の組を使います。応答を採点したり比較したりする前に、まず望ましい出力の形をまねさせる段階です。 教師ありファインチューニング (Supervised Fine-Tuning; SFT)[7:3] は、入力 x と模範応答 y^\ast の組を使って、模範応答の尤度を上げます。目的関数は、次の負の対数尤度です
