大規模言語モデルの驚くべき能力「ICL」 そのメカニズムが解明？

ディープラーニング研究では国内トップレベルの東京大学・松尾豊研究室のメンバーが開催する最新論文の輪読会から、話題の論文を紹介する本連載。今回は、人間並みの言語理解能力や文章生成能力を発揮する大規模言語モデルの特徴である、少数の例で新しいタスクを学習できるIn-Context Learningについて、最新研究を取り上げる。 大規模言語モデル（LLM）における「In-Context Learning（ICL）」のメカニズムを解明する（画像／iconimage/stock.adobe.com） 近年、AI（人工知能）の進歩が目覚ましい。特に、米オープンAIの「Chat（チャット）GPT」のような大規模言語モデル（LLM）は、人間並みの言語理解能力や文章生成能力を発揮し、私たちの生活に大きな影響を与える可能性を秘めている。 LLMの驚くべき能力の一つに、「In-Context Learning（