リコー、モデルマージで“GPT-4レベル”の大規模言語モデル開発 プライベートLLMの開発効率化に貢献

リコーは9月30日、モデルマージ技術によって高性能な日本語大規模言語モデル（LLM）を開発したと発表した。東京工業大学などが開発したLLM「Llama-3-Swallow-70B」をベースにしたAIモデルで、米OpenAIのLLM「GPT-4」と同等の性能を持つとしている。 モデルマージとは、複数の学習済みのLLMモデルを組み合わせて、より性能の高いモデルを作る方法のこと。 リコーは今回、Llama-3-Swallow-70Bをベースにしてモデルマージを実行。Metaの指示学習済みモデルから抽出した「Chat Vector」（AIモデルから抽出した指示追従能力のベクトルのこと）と、リコーが作成したChat Vectorを独自のノウハウでマージさせて、新たなLLMを開発した。 開発したLLMは、日本語性能の評価指標「ELYZA-tasks-100」でGPT-4と同等のスコアを記録。また、比較

[misshiki]

“リコーは今回、Llama-3-Swallow-70Bをベースにしてモデルマージを実行。”