ローカルLLMのためのメモリ基礎知識｜npaka

ローカルLLMのためのメモリ基礎知識をまとめました。 1. CPU・GPU とメモリ1-1. CPU・GPU・RAM・VRAMの役割PCのスペックでは、 CPU / GPU / RAM / VRAM という4つの言葉がよく出てきます。 まず押さえておきたいのは、これらは同じ種類の部品ではないということです。 ・CPU・GPU → 計算を行う装置 ・RAM・VRAM → 計算に使うデータを一時的に置くメモリ 一般的なPCでは、 ・CPU → RAMを主に利用 ・GPU → VRAMを主に利用 という関係になっています。 ローカルLLMでは、モデルの重みなどのデータをRAMやVRAMに置き、それをCPUやGPUが読みながら計算します。 つまり、CPUやGPUが計算するためには、その計算に必要なデータを置いておくメモリが必要ということです。 1-2. CPU・GPU「CPU」（Central P

[ryunosinfx]

AMDのStrix Haloハブられてて草

[gadget-lab]

後で読みたい。ローカルLLMのためのメモリ基礎知識｜npaka

[brain-box]

やはりAMDは？と思った。

[nguyen-oi]

容量だけでなく帯域がボトルネックになる理屈まで分かりやすく整理されてて自作勢にありがたい