Qwen3はローカルLLMの世界を変えたかも - きしだのHatena

Qwen3が出ていて、14Bを中心にいろいろ試したのだけど、かなり使い物になって、日常的な用途ではこれでいいのでは、という感じもします。 4BでもGPT-4oを越えているという話もありますが、確かに単純な用途ではGPT-4oの代わりにしてもいいなと場面も割とありそうな出力です。さすがにちょっと込み入ったものだと4oだけど。 1.7Bなど小さいモデルも既存のモデルより使えるものになっていて、ローカルLLMの世界を変えそう。 解説動画も撮りました。 週間ニュースのまとめはじめました。 サイズとしては0.6B, 1.7B, 4B, 8B, 14B, 32Bと、MoEモデルの30B-A3B, 235B-A22Bです。 30B-A3Bが賢いというベンチマークだけど、コーディング用途だと14Bや32Bのほうがいいかも。MacならMLXで30B-A3Bは めちゃ速くていいけど。という感じでどのサイズにも

[PYU224]

これは凄い。私も試してみたい。/14Bモデルを試してみたけどNSFWはダメで無難な回答しか来ない。制限なしのモデル登場を求む。

[himanahitodesukun]

別にテトリスやブロック崩しを作ることがこの記事の趣旨じゃなかろう...

[rdlf]

16GBメモリを搭載したMacで8Bはちょっと遅いかなくらいで動くので使える。メモリも使い切らないし。

[Ez-style]

ローカルLLMは性能と待ち時間がバーターなんだよね。。。NSFW目的以外は素直に課金した方がコスパいいんじゃないかなあ。

[Phenomenon]

おおーMacで動かしてみよ。もうちょっとで使い物になりそう。/トップブコメのひと つ ベンチマークテスト

[T-norf]

米国は自由貿易の未開国になり、LLM民主化の波は中国から来るのね。少ないデータセットで優秀かつ低コストなファインチューニング手法が出てきたら、ここらへんの価値は上がるだろうけど、情報追っかけてる時間なし

[rgfx]

ちゃんと自分の手を動かして試した記事にブクマが集まってて良い

[infinite-regress]

サイズダウンするにつれゲームのクオリティがしっかり下がっていくのがおもしろすぎる

[lainof]

↓既知のゲームを作らせるのと、そうじゃないものを作らせるのでは難易度が違うので、モデル自体の性能が向上しているかどうかの判断には不適当ってことをトップコメは言いたいのでは？

[nobububu]

ブロック崩し作って、で動くものが出来上がるほどハイコンテキストだとしたら、もうブロック崩しの仕様が知識にあるからなのでは。

[ookitasaburou]

“1.7Bなど小さいモデルも既存のモデルより使えるものになっていて、ローカルLLMの世界を変えそう。”

[sek_165]

Qwen3-VLも期待して待ってます。

[delimiter]

AI絡みの方々はここ数年で世界が5回ぐらいひっくり返ってそう

[venjamine]

“Pro”

[ka-ka_xyz]

電書化したデータを扱いたいので外部に投げずにローカルLLMで何とかしたいんだよな。今のとこうまくいってない（ https://bsky.app/profile/ka-ka-xyz.bsky.social/post/3levswofld22w ）けど後で試す。

[agricola]

8Bの4bit量子化モデルならサイズは4GB。そりゃ8GBあれば余裕だわな？

[atsushieno]

Qwen3はなぜかJanで14Bモデルが列挙されないんだよな

[kenjou]

ローカルで自分で管理するよりも、向こうが勝手に性能アップしていってくれるサブスクに課金した方が全体としてはコスパがいいような気はする。メモリが多いMacは高いし。

[hunglysheep1]

サヴァン症候群でも凄い能力を持った人間もいるし、サイズより最適化のレベルによるのかもなぁ

[cloverstudioceo]

エッチな会話はしてくれませんでした

[harumomo2006]

ちょっと楽しみ

[yarumato]

“コーディング用途だと14Bや32Bのほうがいいかも。14Bから1.7Bまで4bit量子化モデルをMac＋LM Studioで試していきます。8Bモデルでも8GBメモリで結構動いてくれる。確実さを求めると8Bや14Bがほしい。”

[kotesaki]

例えばプログラミングとかに限定すると人間の知識量ってそれこそ1.3BモのLLM程度と言えるのかもね（ｗ　“1.7Bは？それっぽいこと返してきて恐ろしい。つまり人類の知識って1.3GBにおさまるんか？”

[hatebu_admin]

やはりブクマカ的にはブクマする仕事と密着した用法、カラースターがじゃぶじゃぶ取れるブコメを書けるかどうかが気になるってやつやろ

[Eiichiro]

ローカルLLMで上手く説明できるってことは、サーバーにLLM建てて、ベース資料として、コードベース与えてあげれば、いつでも仕様に答えてくれるチャットボットくんができる可能性でてくる。こっちの未来はありそう。

[misshiki]

“Qwen3が出ていて、14Bを中心にいろいろ試したのだけど、かなり使い物になって、日常的な用途ではこれでいいのでは、という感じもします。”

[tg30yen]

>14Bでかなり使えます。単発のコード生成はかなりいける。単発の質問ならGPT-4oの代わりに十分なりそうです。

[rax_2]

フカシだろうと思って眉唾で聞いていたが、もうその精度まで来たのか。家のローカルで動くまであと一歩…と思いながら、まだ、課金したほうが早いなとも思う。

[wktk_msum]

うーむMacで試すか

[KoshianX]

おお、そんなにちゃんと動くものなのか。ようやくコーディングエージェントも気軽に使えるかなあ

[shinobue679fbea]

512GBMac studio、ひょっとしていらない？？

[toaruR]

14Bは9GBか(・ω・)