12GB VRAMで125Bモデルを動かす「Strata」の概要｜npaka

1. はじめにローカルLLMでは、GPUのVRAM容量が大きな制約になります。特に100Bを超えるモデルは、量子化しても一般的なGPUのVRAMだけで動かすのは困難です。 そこで登場したのが、AI推論エンジン「Strata」です。 Strataは、GPUとCPUで計算を分担し、VRAM・RAM・SSDを活用して、大規模なMoEモデルを一般的なPCで動かすことを狙ったオープンソースの推論エンジンです。 現在は「Qwen3.8-Flash-Next」を中心に、その派生モデルや量子化モデルに対応しており、125Bパラメータ級のモデルをRTX 5070 12GBのようなGPUでも実行できます。 2. Strataの仕組み2-1. 125Bモデルを一般的なGPUで動かすStrataの大きな特徴は、モデル全体をVRAMへ読み込まないことです。 Qwen3.8-Flash-Nextは125B規模のMoE

[kurage_lizard]

安い時に不要と思いながらもRAM64GBにしておいた過去の自分を褒めたい

[star_123]

試したい/試した。Ryzen5600 4070TiSuper VRAM16GB RAMDDR4 96GBの環境でQ2_XSのモデルが64kコンテキストでぬるぬる（70tps）動いた。良く課題で見る3Dボクセルアート5重の塔も15分で満足行くものが出来た。これは驚き屋じゃなくても驚く

[yorkfield]

一日に数回のリリースがされてる。開発の勢いが凄い。 https://github.com/Niko1221/Strata/releases　[追記]量子化手法のGSQ-RCOは、3.5bitでも性能があまり落ちないらしい？ https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF

[fusionstar]

LM Studio で 27B 動かすより速く 125B が動くのはほんとに驚いた。 PC のリソースほとんど食っちゃっててほかのこと何もできなそうだったけど。

[shinobue679fbea]

FreeTokenのQwen3.8Flash最適化、ですな。Qwen4Flashが本命だろうけど、これのために５０万くらい突っ込む価値あるかもね、ローカルで検閲緩いLLM使いたい人は

[shinoppie]

喋るっぽくしてるだけでツールは動かないからエージェントを動かしたりとかはむりだよ、とAIさんにいわれてがっかり

[tyhe]

ひと世代前のRyzenと4070TiとDDR5 64GBだからギリギリ試せそうかなー。試してみるかー。

[TriQ]

VRAM12GBでマジか！となってRAM64GBでマジか…ってなった人結構多いと思うｗ

[kyahi227]

一般的にコンテキストのQ8未満、モデルのQ4未満は回答一発目では調子がいいが、ツールコール文法が保てなくなるなど支離滅裂になって使い物にならないと言われてる。それでも良いならどうぞという類。

[Imamura]

RAM32GBではCoderのみか…でもこんな低スペックでも125Bモデルを動かせるとはすごい時代になった

[torish]

試してみよう。ちょと昔のパーツぶち込んだらつかえるかも？？バック・トゥ・ザ・フューチャーのデロリアンにゴミでも何でも掘り込んでた感じになるのかな？

[ryunosinfx]

いつもどおりAMDがハブられてて草（Github上ではちゃんとRX9070XTも乗ってる）

[agricola]

R9 3900X/DDR4-2666 64GB/RX6600 8GBの俺の愛機が……不安定なんすよ（涙）。もっともR9 5900XT/DDR4-3200 128GB/Radeon AI PRO R9700が控えてるけどな。あとRTX 2000 Adaもホストがメモリ障害で死んでから稼働してない（をい

[misshiki]

StrataはGPU・CPU・RAM・SSDを使い、125B級MoEをVRAM 12GBのGPUでも実行する推論エンジン。RAM 64GBを推奨し、OpenAI・Anthropic互換APIに対応。仕組みや測定結果、導入手順を解説。

[Abba]

まさかのRAMがいるのか 時期が悪いが買うか…

[collectedseptember]

GPUからメインメモリにスワップしてるのか

[ardarim]

VRAMもシステムRAMも足りないワイ低みの見物

[harumomo2006]

しかしメモリが足りない

[taguch1]

楽しみ

[strawberryhunter]

すごい。GPUを買うならNVIDIAだな。まだ数年はNVIDIAの優位性は続く。

[rgfx]

あ、32GB環境向けのも出てたんだ

[ys0000]

Qwen3.8 FlashはQ4でも性能いいからなぁ。Strataのようなツールにすがる気持たはよくわかる。

[totoronoki]

これで125B の2Bit量子化モデルを入れてるが、なかなか賢い。速度もそこそこ。

[hirokinko]

PC故障で色々交換したタイミングに！

[Yagokoro]

巨大モデルがローカルで動く時代が来てるの凄いわ

[rdlf]

AppleのAFM 3 Core Advancedみたいなものかな？これでメモリ依存しなくなるのはいいけどモデルがデカいのでストレージを圧迫する問題が…

[ssfu]

昔、Strata Studioって、３Dツールあったなあと思いだすなど。

[Retset]

GemmaやQwen3.6 A3Bなどは使えないのかな？

[sucelie]

マシだけどメモリ64GBはまだきついなぁ

[kotaponx]

RAMはDDR4ならどうにかなるのだけど、GPUはAmpareとかPascalだからなぁ……

[urtz]

まるで魔法のような