NVIDIA DGX SparkでローカルAI環境を構築してLLM・画像生成AIを動かしてみた

NVIDIA DGX Sparkの概要 NVIDIA DGX SparkをNVIDIA様から貸与いただきました。NVIDIA DGX Sparkは、手のひらサイズでペタFLOPS級性能を持つ「超小型AIスーパーコンピュータ」です。AI用のスーパーコンピュータであるDGXシリーズ（DGX-1→DGX A100→DGX H100など）の系譜を組みながら、手軽にデスクトップで使えるようにした存在です。 前置きはさておき、やっぱり気になるのは実際の使い勝手、何ができるのか、性能といったことですね。この記事では、NVIDIA DGX Sparkのセットアップの方法と、大なモデルのLLM(gpt-oss-120b)や画像生成を試してみるところまでをやってみたいと思います。 セットアップに関しては、NVIDIA提供の公式のマニュアル、ソフトは大いに参考・活用していますが、一部私の好みで変更しているものや

[misshiki]

“DGX Sparkの基本的なセットアップにはじまり、LLMを使ったチャット、AIでのコーディングから画像生成まで一通りを試してみました。gpt-oss-120bという非常に大きなモデルが手軽にサクサク動いたのは感動でした。”

[tmatsuu]

うらやましい。「大体 40〜45トークン/sec」ほう。NVIDIA DGX Sparkは2999〜3999ドルとの噂。7shiさんのEVO-X2が33.87tokens/sだったのでEVO-X2はコスパ最強の可能性があるな？

[daishi_n]

LPDDR5-256bit接続で128GBあるからメモリ帯域が細くてもVRAMの少ないGeForceより性能が出る理屈。大容量ユニファイドメモリではRyzen AI MAXとかApple SiliconのProやMaxが競合かな

[yarumato]

“RTX 3060が載ったゲーミングPCは遅い、大きいモデルでOut of memory。DGX Spark（80万円）だと何でもサクサク動く。小さくて静かで熱くならない。gpt-oss-120bで40〜45トークン/sec。Comfy UIのテンプレートで画像生成モデルを試す”

[bluescreen]

LLM推論だけの用途で40token/sなら価格差を考えるとAMDのAI MAX+ 395のやつでも良さそう。

[l_etranger]

詳細でとても参考になった。Ubuntuで同じソフトを動かしているのでほぼ同じ感覚で使えそうと分かった。日本語入力の設定でちょっとごたつくのあるあるすぎる。肝心のDGX Sparkを手に入れることはなさそうだけど。

[pico-banana-app]

手のひらサイズのAIスパコンとかいうロマンの塊ｗ これで自宅でLLMも画像生成もサクサク動くとかヤバすぎだろ…