はてなブックマーク

何のためにやったかローカルLLMのクオリティが上がってきて、だんだんと自分のPCで使えるレベルになってきた。 GPT-OSS、Gemma、Qwen3、Llama——このあたりをいじっていたけど、正直まだまだ。Qwen3でも結構良かったけど、Qwen3.5は段違いだった。しかも個人のPCで動くレベル。 どうしてもこれまでのLLMは表現が厳しく、何言ってるかわからないことも多かった。しかしQwen3.5は違う。プロンプトの設定を強くしすぎると話がふわっとしてしまうけど、ゆるくすればかなり話してくれる。会話系はもうこれでいいのではと思うレベルで驚嘆した。 そして驚いたのがMoE（Mixture of Experts）というアーキテクチャ。モデル全体は35Bパラメータだが、実際に動くのはたった3B分だけ。35B分の知識を持ちながら、3Bモデル並みの軽さで動く。だからRTX 4090（24GB）でも