日本語LLMをDPOと派生手法でファインチューニングする - Qiita

TL;DR LLMの最適化手法であるDPOとその派生手法 (IPO, cDPO, RSO, KTO) について解説する trlライブラリとLoRAを用いて、それらの手法で日本語LLMを最適化し、性能を定量的に比較する 3.6BパラメータのLLMをVRAM40GBのGPU1枚で全パラメータをDPOで学習する方法も説明する はじめに Direct Policy Optimazation (DPO)は大規模言語モデル(LLM)の挙動を制御するポリシー最適化（文脈によってはアライメントとも呼ばれます）のための学習手法で、強化学習を用いたProximal Policy Optimization (PPO)に代わるものとして最近注目を集めています。 PPOに関しては、こちら 日本語LLMをPPOでファインチューニングする の記事で試してみましたので、今回はその続きとして、DPOとその派生手法を使って日