【ローカルLLM】国産LLM「LLM-jp-4-33B」と「Qwen3.8-27B」の推論性能比較（RTX 5070 Ti + RTX 3070 Ti） - Qiita

はじめに 先週、LLMCが大規模言語モデル「LLM-jp-4 33B」を公開した。これは約332億パラメーターのDense型のモデルで、今年4月に公開されたMoE型のモデルのDense版に対応する。 以前、性能比較検証に関してLLMCが以下のような声明を発表している。確かに、推論性能比較の観点では、アクティブパラメータ数の異なるモデルを比較するのはフェアではない。LLMCの主張はもっともである。 そもそも中国製モデルを使うことにも懸念点があり、フロンティアモデルに匹敵する性能の国産モデルの登場が待ち望まれている。これについては以下の記事が参考になる。 「みずほもライオンもQwenを選んだ — 「中国製AI」をどう安全に使うかの現実解」 | zephel01 氏 https://note.com/zephel01/n/nbf37223fe743 この度、LLM-jp-4のDense版が登場し

[ookitasaburou]

“この度、LLM-jp-4のDense版が登場したので、同じく最新のオープンモデルであるQwen3.8-27Bをリファレンスに、推論性能の比較を行うことを考えた。”

[misshiki]

LLM-jp-4-33BとQwen3.8-27Bを208問で比較し、機械判定は両者188問正解で同点。LLM-jpは簡潔・安定、Qwenは数値推論とコードに強いがoverthinkingでトークン上限到達が多い。

[strawberryhunter]

Qwen3.8-27Bにmax_tokens: 4096 は全然足りないイメージある。

[star_123]

開発費の桁が違いそうだけどLLM-jp思ってたより健闘してるのね、でもMTPはオンにしたいところ