CPUが得意なことをCPUにまかせて少ないVRAMでも大きめのLLMを速く動かす - きしだのHatena

Redditに「VRAM足りないとき一部のレイヤーをCPUに任せるんではなく、レイヤー全部をGPUに載せてレイヤー内部のFFNだけCPUに持っていったら速くなった、なんでこれが標準じゃないんだ」というのがあったので、おうちのRTX 4060 Ti 16GBで試してみたら微妙に速くなりました。 https://www.reddit.com/r/LocalLLaMA/comments/1ki7tg7/dont_offload_gguf_layers_offload_tensors_200_gen/ Qwen3 30B A3Bで試してみる こういった指定がOllamaやLM Studioではできないので、今回はKoboldCPPというので試してます。 https://github.com/LostRuins/koboldcpp KoboldCPPでは実用が厳しいので、llama.cppで試すほう

[khtokage]

どの処理部分をどのハードウェアに割り当てるか。3Dなんかでは長年掛けて最適化されてきたことだけど、AIもそういう時代だし、爆速で進むんでしょうね。

[qpci32siekqd]

CPU-GPU間、CPU-メモリ間、どこも通信帯域足りてないのでハードから変わらん限り厳しい気がする

[zgmf-x20a]

これは参考になる。ただ、そのレベルのコーディングするかというとしないけどね…その点でも、Apple M4とかevo-x2に望みが行くのか…

[yarumato]

“12%速くなりましたね。強いCPUならもっと効果が出ると思います。”

[Kukri]

まだまだ構造的な非効率は残ってるよな

[pascal256]

良さそう。NPUとかも今後含まれて上手く協調するようになるのかな？