サイバーエージェント、225億パラメータの日本語LLMバージョン3を公開--スクラッチ開発

サイバーエージェントは7月9日、225億パラメータの日本語LLM（大規模言語モデル）である「CyberAgentLM3」を公開したことを発表した。 同社はかねてから日本語LLMの開発に取り組み、2023年5月に独自の日本語LLMである「CyberAgentLM」を一般公開。同年11月にバージョン2となる「CyberAgentLM2」を、2024年6月には視覚を付与したVLM（大規模視覚言語モデル）を公開している。 今回公開したモデルは、既存モデルをベースに用いずスクラッチで開発を行なった225億パラメータの「CyberAgentLM3-22B-Chat」。LLMの日本語能力を評価する「Nejumi LLM リーダーボード3」においては、700億パラメータの「Meta-Llama-3-70B-Instruct」と同等の性能となっており、2024年7月現在において、スクラッチ開発のオープンな日