楽天、「日本語に最適化したLLM」公開--商用利用OK

楽天は2月12日、日本語に最適化した大規模言語モデル「Rakuten AI 2.0」と小規模言語モデル「Rakuten AI 2.0 mini」の提供を開始したと発表した。 「Rakuten AI 2.0」は、Mixture of Experts（MoE）アーキテクチャを採用した8x7B（8つの70億パラメータモデル）構成のモデルだ。入力トークンは最適な2つの「エキスパート」（サブモデル）へと振り分けられ、効率的な動作を実現する。楽天によれば、この設計により8倍規模の高密度モデルに匹敵する性能を示しながら、計算資源の使用を約4分の1に抑えられるという。 また、日本語性能はRakuten AI 7Bと比較して、8つのタスクで62.93から72.29へと約15%向上し、自然言語処理タスクにおいて高い精度を実現したとしている。 一方、「Rakuten AI 2.0 mini」は15億パラメータで