はてなブックマーク

比較の方法 EVO-X2 と Galleria には docker をそれぞれの環境に合わせてインストールし、ほぼ同じ内容の docker-compose.yml を作成して、実行しています。Flash Attention オプションはなし、kv_cache は量子化なしにしてあります。Mac Book Air の方は MLX モデルと GGUF モデルの両方を使いたかったので、LM Studio で同じ条件になるようにしました。 3 つの比較対象の全てで、Gemma3 の 1B, 4B, 12B, 27B の GGUF.Q4_K_M のモデルで、実行し、加えて Mac Book Air M4 では 同じモデル・サイズのMLXモデルでも実行しました。入力プロンプトは Make a brief history of LLM. としました。プロンプト入力時の top_k はすべての場合で 1