Gemma 3やQwQなどでローカルLLMがそろそろ使い物になってきた - きしだのHatena

GoogleからGemma 3が出たり、AlibabaがQwQを出したりで、27Bや32BでDeepSeek V3の671Bに匹敵すると言っていて、小さいサイズや2bit量子化でも実際結構賢いので、普通の人がもってるPCでもローカルLLMが実用的に使える感じになってきています。 Gemma 3 Gemma 3は単一GPUで動くLLMで最高と言ってます。 https://blog.google/technology/developers/gemma-3/ 1B、4B、12B、27Bがあって、最高なのは27Bだけど、今回はLM Studioで12Bの4bit量子化版を使います。 LM Studioはここ。モデルのダウンロード含め、わかりやすいです。 https://lmstudio.ai/ とりあえず知識確認でJavaのバージョン履歴を。だいたいあってる！ JDK13のリリース年だけ違うけど、

[l_etranger]

Gemma3 12Bいい感じなの共感。コメのsarashina 3Bのダベリのよさもわかる。VRAM少なくとも16GB以上ほしすぎだし、とりあえずRTX5060Ti待ちだけど時期も価格もビミョーで、AMDに頑張ってほしいのもほんとそう。肯首肯首

[noname774300]

VRAM 16GB 欲しい気持ちが強まった。

[srng]

Gemma3はAMDへの最適化もしているとの話で、それなら俄然魅力的になってくる。7900XTが20GB積んで12万。NVIDIAの殿様商売が崩れてくると良いが

[star_123]

日本語でダベるだけならsarashina2.2 3Bも良かったよcpuでも動く3bモデルだから4070tisで動かしたら1～2秒で返信が来て爆速（それでいてそれなりに会話ができる）むずいタスクは無理だけど

[tana005]

“メモリは32GBは積んでおきたい。”

[MIZ]

普通と言うにはもう一声。あとちょっとだけ軽くしてくれれば。

[rawwell]

"GoogleからGemma 3が出たり、AlibabaがQwQを出したりで、27Bや32BでDeepSeek V3の671Bに匹敵すると言っていて、小さいサイズや2bit量子化でも実際結構賢いので、普通の人がもってるPCでもローカルLLMが実用的に使える感じになって"

[strawberryhunter]

ガチな用途だとまだAPIを使った方がコスパが良いと思う。

[moxtaka]

"君だめだね。進展なさそう" 草

[tmatsuu]

「Gemma 3は単一GPUで動くLLMで最高」なるほど。

[misshiki]

“小さいサイズや2bit量子化でも実際結構賢いので、普通の人がもってるPCでもローカルLLMが実用的に使える感じになってきています。Gemma 3は単一GPUで動くLLMで最高と言ってます。...Gemma3が賢すぎてQwQがかすんでる”

[sosoz4]

そろそろローカルAIをゲームに内蔵出来るのかな？APIだと料金がネックなので（ユーザーが長くプレイする程お金がかかる）

[isrc]

普通のPCでもローカルLLMが実用的に／Gemma 3は単一GPUで動くLLMで最高／27Bの2bit量子化を試してみました。実用レベルになってる感じします／4060ti 16GBでやってるけど、メモリは32GBは積んでおきたい。

[paradoxparanoic]

早速動かしてみましたけど、なかなか良い感じでした。直前にChatGPTに聞いてた内容をそのままコピペしたら、遜色ない答えだった

[kondra]

Gemma3は一昔前の造語作っていい加減なこと自信満々に言うやつって感じする。画像から日本語読む能力もqwen2-vlの方が上だと思ったけど、競合いないから頑張ってくれたら嬉しい。

[poad1010]

この記事をおすすめしました

[ntstn]

ガッツリ回してもAPIが月額3万円くらいに早くならんかしら

[fivestech]

もうここまで来たら知識はRAGかMCPで繋ぐだけかな

[nomakkah]

VRAM16GBあっても、モデルサイズ8.15GBのq4₋k₋mが限界なのかな?この場合でもDRAMまで大量に使ってる?

[yujimi-daifuku-2222]

この記事を見て新人やアシスタントに振る仕事なくなるなあと真っ先に思うなどした。恐らくこれはソフトウェア開発以外の事務仕事でも同じでしょう。/人手不足は解消しそうですが、中々厳しい時代になってきたなあ。

[prjpn]

誰か、AI Max+ 395で動かしてくれないかな

[nekoline]

Macはお呼びじゃないだろうけど、Localで無制限Clineやりてぇなぁ

[FreeCatWork]

ローカルLLMすごいニャ！ボクも論文書けるかなにゃ？

[T-norf]

このサイズである程度使えるなら、ビジネスでも学習操作、特にRLとかLoRAでの自社／特定業務の固有の情報の学習も視野に入ってきそう。さすがに追いきれないし、大手から良さそうなツールが出てから考えたいけど

[bronbron]

ドル安が進んでくれれば完璧

[OkadaHiroshi]

やっぱりメモリーはそれなりに必要なのだ。スマホでも同じだろうからこれからクライアント側のメモリー需要も増えるのだ。メモリーメーカーの株を買うのだ。

[KoshianX]

ほー、8840U とかでも動くかなあ

[zgmf-x20a]

bakeneko最高

[kei_1010]

Grok3でもループを確認したので、いわんやQwQ32Bをや。化け猫試したい。Cline R1 free は動かないし、非課金勢は自律コーディングは無理なんだろうか。。。検索はMCP使えないかな？

[Phenomenon]

QwQ試そうと思ってたけどGemma 3もいいんだね。あとはclaude 3.5のレベルのモデル出てこないかなあ

[rdlf]

MacBook Pro M1 16GBだけどGemma 3の12Bはちょい遅めで動いている。ただメモリは一杯一杯… MacBook Pro M4 48GBモデルを買いそうになっているけどMacBook Proは筐体が変わったら買い替えと決めているのでM5を待つ。