ブックマーク / zenn.dev/dozo (1)

  • VRAM8GBの汎用PCに高性能LLM Qwen3.6-35Bを稼働させる: 人工知能深訪

    情報源はいつもTwitter(旧X) え?いけんの? つい先日、Twitterで、 フライト中の8時間MacBook ProでQwen 36Bをフルに動かしてたんだ っていう投稿を見て、 (;'∀') VRAMいくつやねん。 っていう感想を持っていた。 レスポンスを見る限り、 これはうそだろみたいな流れだった。 ところが、 これもTwitterで、 「2026年に格的なローカルLLMを動かすには24GB GPUが必要だ。」 誰もがこれを繰り返している。でも、もうそれは真実ではない。 RTX 4060 Ti 8 GBで35Bパラメータのモデルを動かしてみた:• 16kコンテキストで41 tok/s • 200kコンテキストで24 tok/s レシピとベンチマークは以下 🧵 https://x.com/above_spec/status/2050003701033529347 という内容の

    VRAM8GBの汎用PCに高性能LLM Qwen3.6-35Bを稼働させる: 人工知能深訪
    hatebu_admin
    hatebu_admin 2026/05/09
    いけんの?と思ったので本来の意味でブクマ(本来の意味ではないブクマとは何なのか)
  • 1