大規模言語モデルは本当に「創発」しているのか —— 最新研究によって否定される

7月17日、Sheng Luらが「大規模言語モデルにおける創発能力は、単なる文脈内学習なのか？(Are Emergent Abilities in Large Language Models just In-Context Learning?)」と題した論文を公開した。この記事では、大規模言語モデルにおける「創発」現象が単なるインコンテキスト学習の結果であるかどうかについて詳しく紹介されている。 以下に、その内容を紹介する。 大規模言語モデル（LLM）は、数十億のパラメータを持ち、広範なウェブスケールのコーパスで事前訓練されている。これらのモデルは、特定の訓練を受けていないにもかかわらず、特定の能力を獲得すると主張されている。 これらの能力は 「創発」 現象と呼ばれ、言語モデルの可能性とリスクについての議論の原動力となっている。しかし、創発現象を評価する際の主要な課題は、インコンテキスト学