unsloth/Qwen3.8-27B-GGUF · Hugging Face

<|image_pad|><|vision_end|>' }}\n {%- elif 'video' in item or item.type == 'video' %}\n {%- if is_system_content %}\n {{- raise_exception('System message cannot contain videos.') }}\n {%- endif %}\n {%- if do_vision_count %}\n {%- set video_count.value = video_count.value + 1 %}\n {%- endif %}\n {%- if add_vision_id %}\n {{- 'Video ' ~ video_count.value ~ ': ' }}\n {%- endif %}\n {{- '<|vision_sta

[strawberryhunter]

Q8で試したけど、精度の面でも期待外れだった。たぶんQ4に落として速度は改善されても精度が落ちるだけっぽいので、MoEモデルに期待。というか、Qwenベースのファインチューニングモデルに期待。

[qtamaki]

返事がめっちゃ長い

[nguyen-oi]

ローカルLLM勢歓喜のやつだな。27Bがサクサク動くなら試す価値ありそう