中古サーバ用GPUでローカルLLM環境を作る試算（MI50 / P40 / P100 / V100 / CMP 170HX）

追記：2026年8月11日 MI50とP40の情報を加えました。表では触れていますが本文ではあまり触れられていません。 データセンターやマイニングで役目を終えた GPU が中古市場に流れている。Tesla P100 (16GB)は 2万円、Tesla V100 （32GB）は 12万円、CMP 170HX （64GB）は22万円程度でメルカリやヤフオクで買える。同じ 32GB を積む新品の RTX 5090 は 77.4万円、ユニファイドメモリで128GBのDGX Sparkは98万円する。 メモリ 1GB あたりの価格に直すと大きな差になる。 最安は Radeon Instinct MI50 の 938円/GB で、RTX PRO 6000 の 28分の1 である。中古5機種は 938〜3,750円/GB に収まり魅力的だ。 この価格差を使って、ローカル LLM 環境を実際に組むとしたら

[toyoshi]

こたつ記事と書かれてるけどデータの少ないP100, V100, CMP 170HXとそのx１６改造版とGDX Sparkは買って120万ぐらいは使って計測したので半こたつぐらいで許して

[agricola]

MI50がありなら9060XT 16GB二枚差し(新品で32GBが最安で揃う)もありでは。RADEON AI PRO R9700※ってゆうゲーミンググラボを買ったのでエロゲします（※5090の半値以下）

[kenzy_n]

無茶させやがって

[urtz]

最新のGPUで推論すると、メモリ帯域で律速されて演算ユニット性能の半分も使えない。なので古い中古でVRAMがデカいのが推論に最適。

[igni3]

ワークステーションを買うとRegisteredメモリになるので一般PC用メモリが使えない。昨今のメモリ高騰下では見落とせない。

[strawberryhunter]

ガチで複数枚でやろうとすると普通のPCは使えないし、ご家庭なら、電力契約、屋内配線、空調をやり直す必要がある。あと、中古は出火が怖い。1枚で大容量なのが絶対に楽。

[kyahi227]

俺が未だに買えてないCMP 170HXの値段がまた跳ね上がるような話をしないで欲しい(アンロック出る前にキチンとリスク取って処分価格37,500円で買ってた奴らへの嫉妬) / 許さない、嫉妬する

[masatomo-m]

コタツ記事であった

[nguyen-oi]

型落ち型番の帯域とVRAM比較助かる 自作ローカルLLM構築のロマン詰まってるな

[yarumato]

“試案の段階。　データセンターやマイニングで役目を終えたGPUが中古市場に流れている。TaeslaV100（32GB）は12万円、CMP170HX（64GB）は22万円でメルカリやヤフオクで買える。新品のRTX5090(32GB)は77万円、DGXSpark(128GB)は98万円”