リコー、低コスト・高速うたう新LLM 日英中対応で今秋提供

リコーは8月21日、日英中3言語に対応した、700億パラメータの大規模言語モデル（LLM）を開発したと発表した。米Metaが提供するLLM「Meta-Llama-3-70B」の日本語性能を高めた「Llama-3-Swallow-70B」をベースに、独自データによる追加学習などを実施。これにより、ベースモデルに比べ日本語の処理効率を43％向上させ、コスト効率や処理速度を高めたという。 今回のLLMは、米Amazon Web Servicesと共同で開発したスクリプトで訓練した他、独自データ約1万6000件による追加学習を実施。テキストをLLMが理解できるよう分割する「トークナイザー」の改良により、日本語の処理効率を向上させた他、さらなる追加学習による「破滅的忘却」（追加学習の際に過去に学習したタスクを忘れる現象）も抑制したという。これにより、企業独自の「プライベートLLM」のベースとしても利