ローカルLLMはパソコン買ったら動くのが当たり前になるので、要不要ではなく、いつ使うか、どう使うかの問題 - きしだのHatena

DeepSeek-V4-Flash-0731のベンチマークスコアが派手だったことで、ローカルLLMへの注目が一段と高まりましたね。 サイズ5倍のモデルを越える性能とかで、もうローカルLLMでいいんじゃないか、とか。まあ実際に使うとサイズなりよりちょっと弱いくらいの性能なんだけど、期待感が高まった。 で、そんな中で「LLMに投資しても元が取れんのだからおとなしくサービス型モデルを使っておけ」みたいな話もちらほら流れてきます。 けど、最近は、それなりのパソコンを買ったら当たり前にLLMがバンドルされて動くという世界になりつつあります。 パソコン買ったらLLMがついてくる 例えば、HP製の日本向けPCには今後、Mistral-7B-v0.1をベースとしたRakuten AI 7Bがバンドルされます。 楽天グループ株式会社は、株式会社 日本HPと協業し、本日(7/29)、日本国内のHP製PC向けに