「進化的モデルマージにより日本語数学LLMとして構築したEvoLLM-JPは、数学のみならず、日本語の全般的な能力に長けている」らしいEvoLLM-JPを試してみます。 追記(2024/3/22) 10Bのモデルですが、torch_dtypeを"auto"からtorch.bfloat16に変更すると、推論のスピードが改善しました。 モデルEvoLLM-JPは、3種提供されています。今回は3つとも試します。 - 大規模言語モデル SakanaAI/EvoLLM-JP-v1-10B : MICROSOFT RESEARCH LICENSE TERMS SakanaAI/EvoLLM-JP-v1-7B : MICROSOFT RESEARCH LICENSE TERMS SakanaAI/EvoLLM-JP-A-v1-7B : Apache License, Version 2.0 ※画像言語
![WSL2でSakana AIを試してみる|ngc-shj](https://cdn-ak-scissors.b.st-hatena.com/image/square/20a9f7f39cf68f0a8e26f895ee852fa155dbbfec/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F134647977%2Frectangle_large_type_2_aadf8cd45ee8504be098f4c63eb3424f.jpeg%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)