🚀ローカル LLM 選び、もう「VRAM に入る一番デカいやつ」で決めるの卒業しよ？ - whichllm を RTX 4060 Ti 16GB で測ってみた - Qiita

🚀ローカル LLM 選び、もう「VRAM に入る一番デカいやつ」で決めるの卒業しよ？ - whichllm を RTX 4060 Ti 16GB で測ってみたPythonGPUUV駆け出しアーキテクトLLM こんにちは、ローカル LLM 選びで毎回モデル名の海におぼれていたアーキテクトのやまぱん！です 😅 補足コメントや質問、いいね、拡散、ぜひお願いします 🥺！ 間違っていたら 優しく 教えてください！ TL;DR whichllm は 「自分の GPU / CPU / RAM で実際に実用的に動くローカル LLM」 を、HuggingFace の最新候補から自動でランキングしてくれる CLI です。 「VRAM に入る最大モデル」ではなく、ベンチマーク score・推定 tok/s・quant（量子化形式）・fit type（Full GPU / Partial / CPU） をま

[GonzalezTanaka]

なんでAIに文章書かせるとこんなに薄っぺらくなるんだろうね/日本マイクロソフト所属

[yarumato]

“RTX 4060 Ti 16GB / RAM 61.6GB でツールで診断すると、通常用途は Qwen3.6-27B Q3_K_M、coding は Qwen3-Coder-30B-A3B が Full GPU で現実的という結果。「動く / 動かない」だけでなく「気持ちよく動くか」までを 1 コマンドで返してくれる”

[hiby]

トークン地獄になるくらいなら100万クラスのグラボ買った方が良い気がしてきたな。

[m4fg]

何も考えずにこのコマンド動かしてるやつは近いうちにウイルス感染しそう

[hatebu_admin]

TL;DRが長すぎるわっ何の略だと思ってんだよってAIによく教え込んでおいて欲しい

[torish]

AIぽい

[hunglysheep1]

提案されても実際使ってみるとモデル変えたりパラメータ変えたりしたくなると思う

[ka-ka_xyz]

ローカルLLM選定、claudeに聞いたが何か？

[zsehnuy_cohriy]

そんなの前からそうだったろ！

[circled]

結局codexとclaudeと同等の性能を求めるとローカルLLMがお話にならないレベルなので(億単位の金をローカルにかけられるなら別)、あまり考えずにOpenAI/Anthropicに課金しとけ、でしかない

[iouri]

便利だけど、マルチRadeon自動検出してくれなかった。Qwen3.6-35B-A3Bが300t/sでるRTX5090ほしいな

[exciteB]

ローカルLLMの性能はゲーム作らせるとわかる。