自分のPCで「とりあえず動く」ではなく「一番賢く使える」ローカルLLMを教えてくれる「whichllm」、実測ベンチでランク付け（生成AIクローズアップ） | テクノエッジ TechnoEdge

1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。 今回は、自分のパソコンでどのローカルLLMが快適にかつ賢く動くのか、その答えをコマンド一つで教えてくれるCLIツール「whichllm」の最新版v0.5.10がMITライセンスでリリースされたので取り上げます。 ▲whichllmを実行すると、現在のマシンに合った推奨モデルがスコア順でランキング方式に並ぶ ローカル環境でLLMを動かす際、単にPCのVRAM容量に収まる最大モデルを示すだけのツールは複数あります。しかし、VRAMに収まる多数のモデルの中で、一体どれが最も賢く実用的なのかを判断するのは困難です。

[m4fg]

この界隈の得体の知れないコマンド実行するのこわE

[kyahi227]

この手のツールや指南表はいくらでもあるが、実質的に用途やスペックに合わせて調整出来る要素が無くグラボありならQwen3.6 35B-A3B、内蔵GPUならGemma 4などその時々の一強が決まっていてほぼ意味が無い

[strawberryhunter]

WebでVRAMとか入力すれば表示できるのに危険すぎると前から思っている。

[pyunmm]

githubここか。 https://github.com/Andyyyy64/whichllm/blob/main/docs/README.ja.md

[stabucky]

「自動的に検出」という売りになる部分が実はマイナスであるという面白い例。

[cider_kondo]

そーいや https://www.canirun.ai/ って最近更新されてねえよな(今アクセスしたらupdated 29d agoとか表示されてて流石に何かあったんだろか感

[ys0000]

ベンチマーク結果で確認すれば良くない？色々なサイトで公開されてるのだし。

[kamanobe]

代表的なモデルの一般的なバージョンしか出てこなくて欲しかったのそれじゃないんですよ。

[misshiki]

ローカルLLM選定CLI「whichllm」v0.5.10。PCのGPU/CPU/RAMを自動検出し、実測ベンチや量子化、速度、鮮度を総合評価して最適モデルをランキング。

[harumomo2006]

結果だけサイトで教えて欲しい

[miduhima]

“whichllm”

[kenzy_n]

こいつ(まともに)動くのか？

[dollarss]

こんなサービス、あった（できた）のか？！極めて有用

[urtz]

1週間で順位変わってるんやろな

[sotonohitokun]

エンジンなりCLIなり、用途で選ぶモデルって変わる。CodexCLIとOpenCLIも同じモデル・同じ指示でも挙動は変わる。 Qwen27B/50TPSとGemma31B/150TPSなら、ベンチ性能で多少劣っても、調査・壁打ち・Diff確認的高速往復目的なら後者だろ

[nguyen-oi]

VRAMに入る中で一番賢いモデルを選んでくれるの有能。いちいち試す手間が省けるな

[Seamless]

単にそのPCのVRAM容量に収まる最大モデルを示すのではなく動く中で相性良い実用な最適モデルをランキング10で教えてくれる。最新情報の複数ベンチマークを基に速度,世代,量子化,サイズ等を加味して決定