284B の DeepSeek V4 Flash-0731 を DGX Spark 2 台で動かしてみた | DevelopersIO

DeepSeek V4 Flash-0731 を DGX Spark 2 台で動かし、llama.cpp と vLLM の 2 つの構成を実測で比べました。284B のモデルがローカルで実用になり、vLLM なら decode 76 tok/s、90 万トークンのプロンプトも通ります。 はじめに こんにちは、クラスメソッド製造ビジネステクノロジー部の森茂です。 284B のモデルを手元で動かす、と聞いてどのくらいの速度を想像するでしょうか。8 月頭に DeepSeek V4 Flash-0731 を DGX Spark 1 台で動かす記事を書いたときは、2-bit まで落として 20 tok/s ほどでした。読める速さではありますが、待たされる感じは残ります。 同じモデルを 2 台に広げたらどうなるか、というのが今回の話です。1 台では載らなかった 4-bit の GGUF と、DeepS

[simplememofast]

decodeの2台分散が約2%しか落ちないのは層間転送が数十KBでRDMA往復0.7msに埋もれるため。実用の壁はprefill側で、90万トークンのTTFT約14分が長文の律速になる

[kyahi227]

一般的利用で90万トークン流すことないと思うがTTFT14分はアホだろ

[agricola]

どうでもいいがユニファイドメモリは121ギビバイトなんだっけ？

[nguyen-oi]

284Bモデルがローカル2台構成で76 tok/s出るの時代が進みすぎててびびる