はじめに AMD RX6600M GPUを搭載したWindowsマシンで、テキスト生成用途にLLM実行環境を試したときのメモです。 LM Studio、Ollama、KoboldCpp-rocm、AnythingLLMの各ソフトウェアの使用感、GPU動作について紹介します。 結論として、この中ではLM StudioとKoboldCpp-rocmがAMD RX6600Mを利用して動きました。 はじめに モデルについて 使用感と利点・欠点 1. LM Studio 2. Ollama 3. KoboldCpp-rocm 導入と設定 4. Anything LLM まとめ モデルについて LM Studio、KoboldCpp-rocmについては、GGUF形式にしたモデルを読み込みます。 huggingface.co こちらからMeta-Llama-3-8B-Instruct-Q4_K_Mを読み
![LLMをWindowsローカルマシンで実行し、AMD RX6600Mを使う。(LM Studio, KoboldCpp-rocm) - AOI-CAT's diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/9a5ad5a2732f3bf133cf5c4ab555565986da298e/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FA%2FAOI-CAT%2F20240514%2F20240514142644.png)