楽天、日本語に最適化したLLM「Rakuten AI 2.0」発表--25年春に公開

楽天グループは12月18日、日本語に最適化した大規模言語モデル（LLM）「Rakuten AI 2.0」、および小規模言語モデル（SLM）「Rakuten AI 2.0 mini」を発表した。来春を目途にオープンソースとして公開するという。 「Rakuten AI 2.0」は、Mixture of Experts（MoE）アーキテクチャを採用した8x7B（8つの70億パラメータモデル）構成のモデルだ。入力トークンは最適な2つの「エキスパート」（サブモデル）へと振り分けられ、効率的な動作を実現する。楽天によれば、この設計により8倍規模の高密度モデルに匹敵する性能を示しながら、計算資源の使用を約4分の1に抑えられるという。 一方、「Rakuten AI 2.0 mini」は15億パラメータで構成される小規模モデルで、モバイル端末への導入を可能にし、データのローカル処理を実現する。これにより、プ

[poad1010]

この記事をおすすめしました