最近LLMコミュニティから生まれた小型MoEモデル「LightChatAssistant-2x7B」の日本語チャット性能がとても良いため、モデル作者さんが用いた手法(Chat Vector+MoEマージ)を後追いで勝手に検証しています。 その過程で複数のモデルを試作したところ、7Bクラスとしてはベンチマークスコアがやたら高いモデルが出てきたので「Japanese-Starling-ChatV-7B」として公開してみました。 以下はこのモデルの簡単な説明です。 簡易評価日本語によるinstruction-tuningを行ったモデルの評価用データセットとして知られる「ELYZA-tasks-100」を用いて、ほかの有力な7Bクラスの日本語モデルとスコアを比較しました。 その結果、GPT-4による評価において既存の日本語7Bモデルより大幅に高いスコア(3.42)を示すことが確認できました。単純に
![饒舌な日本語ローカルLLM【Japanese-Starling-ChatV-7B】を公開しました|Baku](https://cdn-ak-scissors.b.st-hatena.com/image/square/f2503a9e3a369c0bd91cead25c51aa17025ae88f/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F137323497%2Frectangle_large_type_2_73cfd0e0c1712c26726829e6eabdfd80.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)