約12兆トークンの良質なコーパスで学習した新たな国産LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開～一部ベンチマークでGPT-4oやQwen3-8Bを上回る性能を達成～ - 国立情報学研究所 / National Institute of Informatics

2026/04/03 約12兆トークンの良質なコーパスで学習した新たな国産LLM「LLM-jp-4 8Bモデル」「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで公開 ～一部ベンチマークでGPT-4oやQwen3-8Bを上回る性能を達成～ 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所 (NIIエヌアイアイ、所長：黒橋くろはし 禎夫さだお、東京都千代田区) 大規模言語モデル研究開発センター（LLMC）は、同センターが主宰するLLM研究開発コミュニティ「LLM-jp」の活動の中で大規模言語モデル（LLM）のフルスクラッチ学習を実施し、約86億パラメータ(*1)の「LLM-jp-4 8Bモデル」と約320億パラメータのMoEモデル(*2)「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで一般公開しました。公開モデルの学習では、オープンソー

[yoko-hirom]

『政府・国会の文書』　霞が関文学と永田町文学が良質なのかどうか。

[sotonohitokun]

gemma4検証で忙しいｗただQwen3.5の27Bが取り回しが良すぎる・・

[otoan52]

モデルの性能もさることながら、日本語データセットが整うところが大きい気がする。複数言語でのトレーニングが性能を高めることが知られていて、日本語はその点いい位置にいる

[misshiki]

NIIが国産LLM「LLM-jp-4」公開。8BとMoE型32B-A3B、約12兆トークンで学習。日本語MT-Benchで7.82とGPT-4o(7.29)超え。最大6.5万トークン対応。ABCI 3.0で学習しOSS公開。332B級も2026年度予定。

[strawberryhunter]

後で試す。

[takahashim]

モデルそのものよりも"オープンソースAIの定義（OSAID）に配慮し、第三者も入手可能な良質な学習コーパスの収集・選別・構築を行った(略)約6倍の規模となる学習コーパス"が本体っぽい

[irh_nishi]

国産LLMとか日本語特化とか言ってる時点でズレてると思うんだよな。

[mayumayu_nimolove]

がんばれー

[sjn]

玉虫色の回答してくるのかな…

[Cru]

“Qwen3 MoE”か。8Bモデルの出発点が米国製で32Bが中国製なのね。なんか朴訥な性能上げみたいだなぁ。数学サイトで強化学習しましたみたいなコーパス以外の新機軸はないのかな？

[shoot_c_na]

LMStudioに流れてきたら使ってみたい

[rax_2]

御託は立派だが中身のない文章生成になりそうだなw

[erya]

「政府・国会の文書」遺憾の意とかご飯論法言いそう

[gamecome]

エロはモザイク、文章は黒塗りになりますってか

[Windymelt]

後で使ってみよう

[kei_1010]

試してみた人のレビュー待ち

[ys0000]

自分が何か貢献してる訳でもないから偉そうな事を言うべきではないだろうが、2026年にllama2ベースって、swallowの周回遅れ感があるけども。ここから巻き返すとかだろうか／どうもファインチューニングじゃなさそう？？

[oic58n]

良質なコーパスって、乳酸菌みたいなこと言ってんな。LLM菌12兆

[yarumato]

“LLMのフルスクラッチ学習を実施し、LLM-jp-4 8BとLLM-jp-4 32B-A3Bを一般公開。”

[ko2inte8cu]

更新の学習のたびにかかる、電気代、払えるかな？

[nguyen-oi]

国産LLMがGPT-4o超えを謳う時代か。12兆トークンとか学習リソースの暴力だけど、日本語特化の強みは期待したい。開発の透明性重視なのもNIIらしくて好印象 でもGemma 4でお腹いっぱい