Llama 2 の日本語出力性能を評価してみた｜Lightblue

はじめにこんにちは、Lightblue の富岡です。 Meta から先月 （日本時間2023年7月19日）発表された 「Llama 2」 ですが、その日本語性能については賛否両論で、評価がまだ定まっていません。 本記事では、Llama 2 （7B ・13B） の日本語による質問応答性能についてまとめます。結論から言うと、Llama 2 の出力は公開モデルの中では優秀な方と言えそうです。 既存のモデルとの比較はもちろん、Llama 2 を日本語でファインチューニングした独自モデルの評価も合わせて紹介します。 Llama 2 の意義「Llama 2」は、Metaが開発した7B・13B・70BパラメータのLLMです。 2023年2月に公開された「初代Llama」では商用利用は認められていませんでした。 一方で Llama 2 は、商用利用が無料で可能なライセンス形態と、ソースコードだけでなくニュ

[isrc]

Llama 2 の 7B と 13B について、ユースケースを質問回答に絞った形で日本語出力の検証を行いました。 結論としては、公開されているLLMモデルの中では Llama 2 （7B・13B）の日本語出力性能は優秀と言えそうです。