「1.58ビットに進化したから8GBで十分ですよ。任せてくださいよ」とBonsaiが言うのでMacBook Neoに組み込んでその性能差を体感。iPhoneでも楽々動くしで、ローカルAIが超進化中（CloseBox） | テクノエッジ TechnoEdge

600MBの増加で、ベンチマークが5ポイント上がっています。1.15GBから1.75GBへの53%増に対して、品質は7%向上。FP16のQwen3 8B（16.38GB）にはまだ及ばないものの、メモリは9.4分の1です。MMLU Redux、MuSR、GSM8K、HumanEval+、IFEval、BFCLv3と広範なベンチマークで均等にスコアが伸びている、というのがPrismMLの説明です。 8GBのMacBook Neoで動かしてみる前回のBonsai 8Bは、PrismMLフォーク版のllama-serverが必要でした。GGUF形式で、専用のQ1_0_g128カーネルを通して動きます。 Ternary BonsaiはMLX形式のみ。つまりApple Siliconネイティブです。HuggingFaceのモデルID は `prism-ml/Ternary-Bonsai-8B-mlx-

[kzmts]

クラウドに渡せない/センシティブな情報を扱う/収益化の可否/生成したコンテンツの権利(著作権)など、コスパは悪くてもローカルで動かす意味はあると思う。特に松尾さんの場合は。

[takuver4]

こんな風にローカルで AI を動かすノウハウを貯めてると、将来に実用に耐えうるローカルAI が出てきたときに上手く扱えるんだろうなあ。

[raamen07]

bonsai使ってみたけどまともに会話すらできなかった。聞いてることが違うよ。こういう意味だよとか言っても全然理解しない

[NEXTAltair]

AppleはAIブームに乗り遅れたと思ったらローカルでアップルシリコン注目度上げたな

[l_etranger]

1.58bitそういうのもあるのか。モデルの実用的な小型化が進むのはありがたい。”やらねばの娘”??イパネマの娘ってこと？

[naoya2k]

MacBook Air M4で試してみたらめちゃくちゃ速くてしかもあまり変なレスポンスでもなかったのでびっくりした。

[pochi-taro00]

ゲームもテクスチャ品質落としまくって 解像度下げまくれば起動しますよ みたいなもんか そうじゃないんだよなぁ

[cinefuk]

「Ternary BonsaiはMLX形式のみ。つまりApple Siliconネイティブです。PrismMLのMLXフォークをソースビルドする必要もなく、pip で入る標準の `mlx-lm` パッケージで動きます。Xcodeも不要」

[napsucks]

3値といえばTCAM。TCAM使って演算できないかな

[kahoma621]

iPhoneアプリで手軽に試してみたけど、2-3回会話するとバグってくる印象で1問1答程度にしか使えないなとは思った。でも1.8GBでこんだけ滑らかに話せるのはすごい。飛行機とかネットが使えないところで暇つぶしできるかも

[Yaju3D]

バイナリ乗算がXNORに置き換え可能な理由 https://qiita.com/yaju/items/58f8bb9bef9af99db77e

[bird_dip_jp]

Tri-state とか Open-drain とかのワードが浮かぶハードウェア脳

[hirrrose]

Bonsaiという、LLMについて

[bomem]

13bで1bitにするのと8bで1.58bitにするのと、どっちがいいんだろうか。容量が同じときに、できるだけ性能がでる組み合わせが知りたい。

[misshiki]

PrismMLのTernary Bonsaiを8GB Macで試した記事。1.75GBで動き、ベンチ平均は1-bit Bonsai 8Bの70.5→75.5に向上。日本語応答や複数ステップ推論、Tool Calling時の文脈保持が改善し、ローカルAIの実用性が増したとする。

[natu3kan]

フルスペックのAIと比べたらかなり厳しいよなあ。

[raitu]

“脳のシナプスが「つながっている/つながっていない」だけでなく「つながっているけど使わない」も選べるようになった、みたいな話です。”

[plank]

Raspberry Piで試したい。

[ardarim]

MLX以外のリリースはcoming soonとのこと。早く試してみたい

[commecco]

bonsaiから山岡士郎の声が聞こえてきたが気のせいかもしれない

[solidstatesociety]

Bonsaiは強いちゃんと育てたい

[chintaro3]

　「Ternary（三値）Bonsaiでは、{-1, 0, +1} の3値になります。log₂(3) ≈ 1.585 で、つまり1ウェイトあたり1.58ビットの情報量。」

[pgary]

“mazzaineoの”

[furuichi]

オイラーは数学者　ヤクザな数学者

[kotesaki]

“やらねばの娘” で吹いた（ｗ 例え3値の1.58bitになっても乗算抜きの加算のみで演算解決するからいいよね。今のBonsaiはQwen3がBaseだけどこれがQwen3.5とかBaseになるのが楽しみですね。

[miragestlike]

2つで十分ですよ

[fjch]

2604170823 1ビットBonsaiはウェイトが -1 か +1 の2値、 Ternary(三値)は {-1, 0, +1} の3値 log₂(3) ≈ 1.585 で1ウェイトあたり1.58ビットの情報量。「0(何もしない)」選択肢が加わり表現力向上。

[e_denker]

Ternary BonsaiのネーミングがあまりにもSF小説。

[zgmf-x20a]

1.58になってたのか…

[marmarossa]

、

[restroom]

3進法か

[theta]

Macいいなあ。AI試すならMacがいいらしい

[jun_cham]

GGUFまだかなー

[bventi]

我が家の最速マシン（iPad M2）で試してみる

[nekoline]

Cyberpunk 2077 で喋る自販機が出てくるけど、もう実現しそう。