Sarashina の性能評価 - SB Intuitions TECH BLOG

SB Intuitions の 岡 照晃、李 凌寒、水本 智也、柴田 知秀 です。 本記事では Sarashina の性能評価について解説します。 Sarashina は SB Intuitions で開発している日本語の大規模言語モデル（Large Language Model; LLM）です。 LLM の学習は一般に事前学習のステップとチューニングのステップから成ります。 事前学習では、大規模テキストを用い、与えられたテキストの続きを予測していく次単語予測の性能が上がるように学習を行います。 チューニングでは、ユーザ発話とシステム応答がペアになったチューニング用データから対話的にタスクを遂行する能力を獲得します。 先月、以下の 5つの事前学習モデルを公開しました。 モデルの学習に関する詳細はこちらのブログ記事をご覧ください。 Sarashina1-7B Sarashina1-13B S