リコーは、日本語の精度が高い130億パラメーターの「大規模言語モデル(LLM)」を開発した。顧客の業種や業務に合わせたカスタムLLMを2024年春より順次、クラウド環境で提供する。 「学習に利用するコーパスの選定」など、独自工夫を盛り込む リコーは2024年1月、日本語の精度が高い130億パラメーターの「大規模言語モデル(LLM)」を開発したと発表した。顧客の業種や業務に合わせたカスタムLLMを2024年春より順次、クラウド環境で提供する。 リコーが開発したLLMは、Meta Platforms製「LLM Llama2-13B」をベースに、日本語と英語のオープンコーパスを追加学習させた。「学習に利用するコーパスの選定」や、「誤記や重複の修正などのデータクレンジング」「学習データの順序や割合を最適化するカリキュラム学習」など、リコー独自の工夫を盛り込んでいる。 学習の結果、特にNLI(自然言
![日本語精度が高い130億パラメーターのLLMを開発](https://cdn-ak-scissors.b.st-hatena.com/image/square/0de4ec0e6c5b85752fa1966c1bd70760a3ea2fb6/height=288;version=1;width=512/https%3A%2F%2Fimage.itmedia.co.jp%2Fee%2Farticles%2F2402%2F02%2Fcover_news066.jpg)