1.15GBで8Bモデルが動く「1-bit Bonsai」をMacで試した｜kazu@生成AI×教育 / 谷 一徳 | AI Academyこんにちは、kazuです。 先日PrismMLから発表された1-bit Bonsai 8Bを自分のMac（M3 Pro / 36GB）で試してみました。 結論から言うと、たった1.15GBのモデルで生成速度65tok/sec。通常の8Bモデル（16GB前後）の1/14のサイズとは思えない速さです。 この記事では、Macへの導入手順と実際の使用感を紹介します。 1-bit BonsaiとはPrismMLというCaltech発のAIラボが開発した、全重みを1ビットで表現したLLMです。 通常のLLMは16ビット（FP16）で重みを保持しますが、Bonsaiは各重みを -1, +1 の2値だけで表現します。1ビット重みにより掛け算を大幅に減らせる構造で、メモリもエネルギーも大幅に削減されます。現時点の速度向上は主にメモリフットプリントの削減によるもので、1ビット構造のフル活用は今後に期待されてい
