AI(人工知能)関連のスタートアップであるSakana AI(サカナAI)は2024年3月21日、「世界初」(同社)となる大規模言語モデル(LLM)の自動開発技術を発表した。既存の複数のLLMを融合(マージ)して新しいLLMを開発するもので、LLMの開発を短期間・低コストで進められる可能性がある。 Sakana AIはこの手法を使い「日本語のLLM」と「数学に特化した英語のLLM」を融合することで「日本語で数学の問題を解けるLLM」を開発した。通常のLLM開発と異なり大量のデータを使ったトレーニング(訓練)は行わないため、開発に必要となる計算リソースは「(既存のLLM開発と比較すると)無視可能なレベルだ。開発も1日以内に完了した」(Sakana AIの園田紘章氏)とする。同社にはNTTグループやKDDI、ソニーグループなどが出資している。 今回発表した技術は「進化的モデルマージ」と呼ぶもの