LLMの日本語能力は？ リーダーボード「Nejumi.ai」の開発・運営から見えてきた課題

ChatGPTをはじめ、オープンに利用できる大規模言語モデル（LLM）が続々と公開される中、これらの日本語能力はどれほどのものなのだろうか。本セッションでは、さまざまなLLMモデルを一律で比較するための日本最大級のリーダーボード「Nejumi.ai」の開発と運営を行っている、Weights & Biases Japan機械学習エンジニアの山本 祐也氏が登壇。最新のLLMモデルの日本語能力の評価方法、評価を深掘りして分析することで得られたさまざまな知見、オリジナルのリーダーボードの作成方法などについて解説した。 「Nejumiリーダーボード Neo」の評価方法 Nejumi LLM リーダーボード Neo（以下、Nejumiリーダーボード）とは、「世の中でオープンになっているモデルで一番精度がいいのはどれか、いろいろな指標で評価をしてベンチマークするもの」だ。Stability AIの評価チ