Qwen3.8 27Bが驚異の6.2GBに!? Unslothが新量子化技術で実現

[misshiki]

Unslothが量子化技術Dynamic v3.0を公開。Qwen3.8-27Bを1bitで6.2GB、元モデル比89%削減。上位1%精度は約72%維持する一方、エージェント用途やツール呼び出しには不向き。

[Ez-style]

Qwen3.8-27Bを2bit以下まで量子化するくらいなら、Qwen3.5 9Bを8bit量子化とかで使った方がマシなのでは。どうせ最新情報は検索するしかないわけで。

[aox]

ちゃんこに入れて煮込んだ野菜みたいなものでしょうか

[awaytabi]

2bit量子化は技術的には面白いけど、精度に劣る。4bit量子化で12GBくらいのモデルが欲しいところ。Qwenは3.8-14B出さないんだろうか。

[SilverHead247]

shi3z氏がシンギュラリティ来たかもと言い始めた。27Bは16gbのMacでも動くとか。

[netafull]

“AIモデルを小型化するために使われる量子化技術の開発も着々と進んでいる。”

[kyahi227]

基本的にQ4(4bit)は実質ロスレス、Q3より下は使い物にならないとされる。動くだけ。Qwen 27Bはdenseモデルだから、分散処理に向くMoEの35B-A3Bと比べてGPU1枚に収まらない場合の性能低下もキツい。なお3.8の35Bは現状出ていない。

[Retset]

2bitの方ならエージェント用途にも使えそうかな？ / とはいえ 27B Dense はきつい

[zgmf-x20a]

そう言えば、まだ試してないけど、qwen3.8:27bは動画をよみ込めるとか…

[strawberryhunter]

もう一回試すか。

[solidstatesociety]

このギガはメモリ？

[kamm]

“UD-Q2_K_XL”

[Kippis-S]

27バイトが6.2ギガバイトに膨れ上がったのかと思った

[fashi]

https://huggingface.co/collections/unsloth/unsloth-dynamic-30-quants

[naozane2]

小型のUD-1bit量子化モデルも作成しており、MTPなしの「UD-IQ1_S」の容量はわずか6.2GBだ。上位1%の精度を約72%維持。一般知識は保持されるため、ごく短い事実確認の質問であれば利用できる／チャットにしか使えないのか