DeepSeek-R1の数理的背景を理解する - Techtouch Developers Blog

はじめに 対象読者 DeepSeek-R1 の学習アルゴリズム 記号の準備 TRPO（Trust Region Policy Optimization） 補題1 補題1の証明 定理1 PPO（Proximal policy optimization algorithms） GRPO（Group Relative Policy Optimization） 不偏推定量(5)の導出 DeepSeek-R1 における GRPO の適用方法 正確さの報酬（Accuracy rewards） フォーマットの報酬（Format rewards） まとめ はじめに こんにちは！ML エンジニアの tsujiyan です。現在 DAP Lab とよばれるチームに配属しており、生成 AI 技術を使ったプロダクト開発に従事しています。 近年、生成AIの急速な発展に伴い、大規模言語モデル（LLM）は自然言語処理の

[misshiki]

“DeepSeek-R1 の強化学習アルゴリズムをできる限り詳細に、省略されやすい部分も含めて書いてみました。”

[hiroomi]

「精度・軽さ・安定性」を両立した強化学習ベースの学習設計が特徴