Ryzen AI Max+ 395 で LLM 推論速度を比較

はじめに AMD Ryzen AI Max+ 395 を搭載した EVO-X2 で、gpt-oss:20b を CPU/GPU/NPU で動作させて処理速度を比較します。 測定環境 プロセッサ: AMD Ryzen AI Max+ 395（16コア） OS: Windows 11 Pro 24H2 RAM: 64GB VRAM: 64GB モデル: gpt-oss:20b ソフトウェア: CPU/GPU: Ollama 0.12.6 NPU: FastFlowLM (FLM) 0.9.13 プロンプト: AIの将来を予測してください。 測定方法: Ollama: /set verbose FLM: /verbose 測定結果 単位: tokens/s（1秒あたりのトークン数） デバイス プロンプト評価速度 生成速度

[tmatsuu]

GMKtecのEVO-X2でgpt-oss:120bを動作させると、プロンプト評価速度 209.07 / 生成速度 33.8。わいわい。

[misshiki]

“GPU が最も高速で、CPU は NPU よりも高い性能を示し、NPU は最も低速でした。”

[counseloryasu]

応援します～☺️

[yarumato]

“EVO-X2で、gpt-oss:20bをCPU/GPU/NPUで動作させて処理速度を比較。GPUが最も高速（44tok/s）で、CPUはNPUよりも高い性能（17tok/s）を示し、NPUは最も低速（10tok/s）だ。AMDが将来の製品でNPUの搭載を取りやめる噂も”

[pico-banana-app]

Ryzen AIのNPU、LLM推論だとGPUやCPUに負けてて草ｗ 今後に期待ってことか…？