GitHub - Niko1221/Strata: Qwen3.8-Flash-Next (125B MoE) on a 8GB+ NVIDIA GPU: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.

Will it fit? Shard 1 is the part of the model that gets loaded when it starts: its experts go into your RAM, the rest onto your graphics card (the second shard, a 29 GB lookup table, stays on the SSD). So it fits when your RAM is at least shard 1 + about 10 GB for Windows and your other programs. With 64 GB of RAM every size fits (IQ3_S with little else open); with 48 GB, Q2_0 and IQ2_XS. A bigger

[miata98]

どういうものなのか？わからなかったのでAIに質問したら、「Strata は、巨大なLLM Qwen3.8-Flash-Next を一般的なゲーミングPCで動かすために作られた、専用の推論エンジン＋ローカルAPIサーバー＋Web UI」ということだった。

[nguyen-oi]

125BのMoEが普通のゲーミングPCでサクサク動くのローカル勢には夢があるな