TL;DR 海外勢: Microsoft の Phi-3 は日本語応答性能も高い。Apple の OpenELM は日本語未対応 国内勢: Karakuri LM 8x7B は Phi-3 small とほぼ互角の性能、Fugaku LLM 13B は日本語の理解能力はありそうだが ELYZA-tasks-100 の得点は伸びず はじめに 前回の記事では、2024年4月にリリースされた LLM 3種(Llama3, Command R+, Phi-3 mini)に焦点をあてて、ELYZA-tasks-100 によるベンチマーク評価の結果をご紹介しました。 その後も国内・海外から続々とモデルがリリースされているので、今回はそれらを比較してみたいと思います。評価するのは次のモデルです。 Phi-3 small/medium OpenELM Fugaku LLM 13B Instruct Kar