小規模言語モデル（SLM）とは？ マイクロソフトPhi-3やグーグルGammaは何を競うのか？

生成AI領域における言語モデルは今、いくつかの方向で開発が進められている。 その1つは「大規模言語モデル（LLM）」の開発。大規模言語モデルは、生成AIの代名詞的な存在で、文字どおりサイズ（パラメータ数）が大きなモデルを指す。最近の例でいえば、GPT-4oやClaude 3 Opusなどが代表格といえるだろう。パラメータ数は公開されていないが、非常に大規模なモデルといわれており、パフォーマンスもかなり高いものとなっている。 もう1つが、大規模言語モデルに比べ規模が小さな言語モデル（Small Language Model＝SLM）の開発だ。SLMとは、LLMよりもパラメータ数が少なく、よりコンパクトで効率的なAIモデルのことを指す。一般的にLLMが数百億から数千億のパラメータを有するのに対し、SLMは数億から数十億程度のパラメータで構成される。 LLMは、テキストや画像、音声、動画など幅広

[shodai]

HuggingFaceのクレム・ドゥラングCEOは、ユースケースの99％がSLMで対応可能であり、2024年はSLMの年になると予測するなど、国内外でさまざまなSLMが登場する見込みだ。

[misshiki]

“SLMとは何か、SLMはLLMと何が違うのか。小規模言語モデルの開発状況を探ってみたい。”