LLMに関するguerrerovictorLbnのブックマーク (1)

  • 饒舌な日本語ローカルLLM【Japanese-Starling-ChatV-7B】を公開しました|Baku

    最近LLMコミュニティから生まれた小型MoEモデル「LightChatAssistant-2x7B」の日語チャット性能がとても良いため、モデル作者さんが用いた手法(Chat Vector+MoEマージ)を後追いで勝手に検証しています。 その過程で複数のモデルを試作したところ、7Bクラスとしてはベンチマークスコアがやたら高いモデルが出てきたので「Japanese-Starling-ChatV-7B」として公開してみました。 以下はこのモデルの簡単な説明です。 簡易評価日語によるinstruction-tuningを行ったモデルの評価用データセットとして知られる「ELYZA-tasks-100」を用いて、ほかの有力な7Bクラスの日語モデルとスコアを比較しました。 その結果、GPT-4による評価において既存の日語7Bモデルより大幅に高いスコア(3.42)を示すことが確認できました。単純に

    饒舌な日本語ローカルLLM【Japanese-Starling-ChatV-7B】を公開しました|Baku
  • 1