LLMをWindowsローカルマシンで実行し、AMD RX6600Mを使う。(LM Studio, KoboldCpp-rocm) - AOI-CAT's diary

はじめに AMD RX6600M GPUを搭載したWindowsマシンで、テキスト生成用途にLLM実行環境を試したときのメモです。 LM Studio、Ollama、KoboldCpp-rocm、AnythingLLMの各ソフトウェアの使用感、GPU動作について紹介します。 結論として、この中ではLM StudioとKoboldCpp-rocmがAMD RX6600Mを利用して動きました。 はじめに モデルについて 使用感と利点・欠点 1. LM Studio 2. Ollama 3. KoboldCpp-rocm 導入と設定 4. Anything LLM まとめ モデルについて LM Studio、KoboldCpp-rocmについては、GGUF形式にしたモデルを読み込みます。 huggingface.co こちらからMeta-Llama-3-8B-Instruct-Q4_K_Mを読み