LLMを数学タスクにアラインする手法の系譜 - GPT-3からQwen2.5まで

はじめに この記事では、これまでに提案されてきたLLMを数学タスクにアライン(=適合)する各種手法について概観する。 現時点でオープンウェイトのモデルの中では最も性能が良いQwen2.5に至るまでの提案手法を俯瞰的に把握することを目的としている。 後半では紹介した提案手法の特徴と課題に関して主観を交えながら考察した。 なお、以下で紹介する内容は私がこれまでに読んだことのある論文に基づいて説明している。網羅的なサーベイではないことに注意されたい。 数学タスクにアラインするための学習手法の分類 初見の人が頭の中で整理しやすいように、これから紹介する提案手法を以下の4通りに分類する。どれも候補選択の方法に違いがある。 ベースライン - Few shotプロンプト [Hendrycks, 2021] ナイーブ手法 - 多数決 [Huang, 2022a] [Huang, 2022b] ルールベース

[sh19910711]

2024 / "ファインチューニングのepoch数を増やしすぎると1shotの問題の正答率(Pass@1)は徐々に上がっていくものの、可能な解法の多様性(Pass@N)は徐々に下がっている"