https://b.hatena.ne.jp/entry/s/note.com/npaka/n/n6064bfdb71ed 「FreeToken」の概要についてまとめました。 1. FreeToken「FreeToken」は、NVIDIA GPUで、VRAMに収まりきらない大型MoE（Mixture-of-Experts）モデルを高速にローカル推論するためのAI推論エンジンです。 MoEは... https://b.hatena.ne.jp/masayoshinym/20260829#bookmark-4791999907961388258 2026-08-28T22:02:16Z AIコーディング https://b.hatena.ne.jp/tasukuchan/20260826#bookmark-4791999907961388258 2026-08-26T04:26:05Z https://b.hatena.ne.jp/hatakazu93/20260825#bookmark-4791999907961388258 2026-08-25T02:44:54Z https://b.hatena.ne.jp/shigekaz00/20260824#bookmark-4791999907961388258 2026-08-24T13:26:04Z GPU LLM https://b.hatena.ne.jp/misshiki/20260824#bookmark-4791999907961388258 VRAM超えの大型MoEをローカル推論する「FreeToken」。16GB・80WのRTX 3080 Laptopで23.5GBのQwen3.6-35B-A3Bを平均72.18 tok/s、TTFT 3.09秒で動作。 2026-08-24T07:18:09Z 人工知能 自然言語処理 https://b.hatena.ne.jp/balaem/20260824#bookmark-4791999907961388258 2026-08-24T07:02:36Z https://b.hatena.ne.jp/tekimen/20260824#bookmark-4791999907961388258 2026-08-24T05:36:37Z https://b.hatena.ne.jp/propel/20260824#bookmark-4791999907961388258 2026-08-24T05:36:01Z https://b.hatena.ne.jp/stealthinu/20260824#bookmark-4791999907961388258 FreeTokenででかいモデル動かす！と思ったがそもそも普通のメモリも256G買おうと思ったら超高いわ。マザボも代えないとだし…　うーむ…　でもまだましなんだよなあ… 2026-08-24T04:16:34Z llm AI deeplearning https://b.hatena.ne.jp/mstk_knife/20260824#bookmark-4791999907961388258 2026-08-24T02:18:15Z あとで読む https://b.hatena.ne.jp/stang499/20260824#bookmark-4791999907961388258 2026-08-24T01:56:34Z https://b.hatena.ne.jp/rgfx/20260824#bookmark-4791999906350774338 2026-08-24T01:24:03Z https://b.hatena.ne.jp/Retset/20260824#bookmark-4791999907961388258 2026-08-24T01:13:28Z AI https://b.hatena.ne.jp/iichikon/20260824#bookmark-4791999907961388258 2026-08-24T01:11:19Z あとで読む https://b.hatena.ne.jp/t_stack/20260824#bookmark-4791999907961388258 2026-08-24T00:47:02Z https://b.hatena.ne.jp/jp-myk/20260824#bookmark-4791999907961388258 2026-08-24T00:24:44Z https://b.hatena.ne.jp/yug1224/20260824#bookmark-4791999907961388258 2026-08-24T00:02:42Z https://b.hatena.ne.jp/jamalen/20260824#bookmark-4791999907961388258 2026-08-23T23:52:30Z あとで読む https://b.hatena.ne.jp/drk7jp/20260824#bookmark-4791999907961388258 2026-08-23T22:49:36Z https://b.hatena.ne.jp/dai_yamashita/20260824#bookmark-4791999907961388258 2026-08-23T22:41:42Z LLM https://b.hatena.ne.jp/yooks/20260824#bookmark-4791999907961388258 “FreeTokenは、すべてのLLMを高速化する推論エンジンではなく、NVIDIA GPUでVRAMを超える大型MoEを高速にローカル推論する用途に強いエンジン” 2026-08-23T22:25:06Z https://b.hatena.ne.jp/yoshioka627/20260824#bookmark-4791999907961388258 2026-08-23T21:37:49Z あとで読む https://b.hatena.ne.jp/einherjar/20260824#bookmark-4791999907961388258 2026-08-23T19:54:23Z https://b.hatena.ne.jp/mapk0y/20260824#bookmark-4791999907961388258 2026-08-23T18:36:38Z AI https://b.hatena.ne.jp/BlueSkyDetector/20260824#bookmark-4791999907961388258 2026-08-23T17:35:47Z https://b.hatena.ne.jp/pewe/20260824#bookmark-4791999907961388258 2026-08-23T16:43:21Z https://b.hatena.ne.jp/ko-ya-ma/20260824#bookmark-4791999907961388258 2026-08-23T16:11:33Z ai https://b.hatena.ne.jp/peketamin/20260824#bookmark-4791999907961388258 2026-08-23T16:10:25Z https://b.hatena.ne.jp/entok/20260824#bookmark-4791999907961388258 2026-08-23T16:06:28Z https://b.hatena.ne.jp/shino_azm/20260824#bookmark-4791999907961388258 2026-08-23T15:54:25Z あとで読む https://b.hatena.ne.jp/chess-news/20260824#bookmark-4791999907961388258 2026-08-23T15:06:35Z https://b.hatena.ne.jp/MASSI/20260823#bookmark-4791999907961388258 2026-08-23T14:58:06Z あとで読む https://b.hatena.ne.jp/kknsd/20260823#bookmark-4791999907961388258 2026-08-23T14:35:06Z https://b.hatena.ne.jp/akinonika/20260823#bookmark-4791999907961388258 2026-08-23T14:34:12Z https://b.hatena.ne.jp/hhungry/20260823#bookmark-4791999907961388258 メモリ領域を全部使えるMacに近づいた？ 2026-08-23T14:07:05Z AI https://b.hatena.ne.jp/pj1200100/20260823#bookmark-4791999907961388258 2026-08-23T13:59:15Z AI https://b.hatena.ne.jp/ikunkun/20260823#bookmark-4791999907961388258 2026-08-23T13:58:42Z あとで読む https://b.hatena.ne.jp/kaiga3131/20260823#bookmark-4791999907961388258 2026-08-23T13:32:57Z https://b.hatena.ne.jp/i-jumpmjag0j2205/20260823#bookmark-4791999907961388258 2026-08-23T13:27:15Z https://b.hatena.ne.jp/kwhrtsk/20260823#bookmark-4791999907961388258 2026-08-23T13:23:08Z https://b.hatena.ne.jp/toaruR/20260823#bookmark-4791999907961388258 やっぱこういうの有ったのか(*´д｀*) 2026-08-23T13:21:35Z AI https://b.hatena.ne.jp/morioka/20260823#bookmark-4791999907961388258 2026-08-23T13:14:38Z あとで読む https://b.hatena.ne.jp/yasuhiro1212/20260823#bookmark-4791999907961388258 2026-08-23T12:38:59Z あとで読む https://b.hatena.ne.jp/yowa/20260823#bookmark-4791999906350774338 2026-08-23T12:30:47Z https://b.hatena.ne.jp/developmaso/20260823#bookmark-4791999907961388258 2026-08-23T12:28:17Z あとで読む https://b.hatena.ne.jp/yunagi_n/20260823#bookmark-4791999907961388258 2026-08-23T12:17:57Z https://b.hatena.ne.jp/kinushu/20260823#bookmark-4791999907961388258 2026-08-23T12:12:37Z あとで読む https://b.hatena.ne.jp/johnmayer/20260823#bookmark-4791999907961388258 2026-08-23T12:11:49Z https://b.hatena.ne.jp/cucumisin/20260823#bookmark-4791999907961388258 2026-08-23T12:10:02Z あとで読む AI https://b.hatena.ne.jp/aku_su1/20260823#bookmark-4791999906350774338 2026-08-23T11:51:13Z https://b.hatena.ne.jp/ZAORIKU/20260823#bookmark-4791999906350774338 2026-08-23T06:39:48Z