OpenAI の ファインチューニング入門 (2) - RFT (Reinforcement fine-tuning)｜npaka

「OpenAI」の「RFT」(Reinforcement fine-tuning) についてまとめました。 ・Reinforcement fine-tuning 前回 1. RFT「RFT」(Reinforcement fine-tuning) は、Reasoningモデルをファインチューニングする手法です。「SFT」のように固定された「正解」を学習するのではなく、応答候補にスコアを付ける「グレーダー」 を使用します。高スコアの回答がより出現しやすく、低スコアの応答が出現しにくくなります。 処理の流れは、次のとおりです。 (1) グレーダーの実装 (2) 学習データをアップロード (3) ファインチューニングジョブを実行 (4) 評価 2. RFTを使用すべき場面RFTを使用すべき場面は、次のとおりです。 ・RFTは明確なタスクで最も効果を発揮する。 人間の専門家が回答に同意するかどうかを