NPUで数十種類のチャットAIを動かし放題の「Lemonade Server」。ただしAMD Ryzen AIに限る

[opaopachang]

NPUは定着するかこのまま消えるかの瀬戸際な感じが

[secseek]

専用プロセッサであるはずのNPUよりGPUの方がずっと使いやすいんですよね。謎です。積み重ねが違うと言えばそれまでなんですが

[georgew]

「Lemonade Server」というソフトを使用することで、AMD製NPUであるRyzen AIを用いて、LLMを簡単に動かせる > ローカルLLM稼働方法の一つのアプローチ。これ無料とのこと。

[UhoNiceGuy]

64Gbのメモリ積んだRyzen AI HX370機で27万円か。まぁまぁだね。ollamaと同じように動くならAIサーバーとしては便利そう。というか、AMDはollamaでNPU使えるようにしてくれない？AppleのMetalは使えるのだから

[strawberryhunter]

マーケティング用の飾りを能動的に動かせる日が来るとはね。NPUは安くない。メモリ高騰の煽りを受けて、一番削減されそうな部品だけど。

[agricola]

Windowsにブロックされるんだけど……

[dollarss]

やってみようかな。面白そう

[sugawara1991]

AMD NPUを使えるLLMランタイムが限られるということか