FreeToken の概要｜npaka

「FreeToken」の概要についてまとめました。 1. FreeToken「FreeToken」は、NVIDIA GPUで、VRAMに収まりきらない大型MoE（Mixture-of-Experts）モデルを高速にローカル推論するためのAI推論エンジンです。 MoEは推論時に一部の「Expert」だけを使うため、FreeTokenはExpertをGPUへキャッシュしつつ、必要に応じてCPUとGPUで協調実行します。これにより、モデル全体がVRAMに収まらない場合でも高速な推論を狙えます。 主にRTX 30 / 40 / 50シリーズなどのNVIDIA GPU向け（DGX Sparkは含まない）で、特にモデルサイズがVRAMを超えるMoEモデルで強みを発揮します。 2. FreeToken の動作確認済みモデルFreeTokenが公式に動作確認済みとして挙げている主なモデルは、次のとおりです

[misshiki]

VRAM超えの大型MoEをローカル推論する「FreeToken」。16GB・80WのRTX 3080 Laptopで23.5GBのQwen3.6-35B-A3Bを平均72.18 tok/s、TTFT 3.09秒で動作。

[stealthinu]

FreeTokenででかいモデル動かす！と思ったがそもそも普通のメモリも256G買おうと思ったら超高いわ。マザボも代えないとだし…　うーむ…　でもまだましなんだよなあ…

[yooks]

“FreeTokenは、すべてのLLMを高速化する推論エンジンではなく、NVIDIA GPUでVRAMを超える大型MoEを高速にローカル推論する用途に強いエンジン”

[hhungry]

メモリ領域を全部使えるMacに近づいた？

[toaruR]

やっぱこういうの有ったのか(*´д｀*)