「オープンな国産モデル」に33Bパラメータの新バージョン 国立情報学研究所

国立情報学研究所（NII）は8月18日、オープンな国産大規模言語モデル（LLM）「LLM-jp-4 33B」シリーズを公開した。モデルの重みは約332億パラメータで、事後学習済みモデルは各種ベンチマークで従来モデルを上回るスコアを記録したという。 公開したのは、事前学習と中間学習まで行ったベースモデル「llm-jp-4-33b-base」と、教師ありファインチューニング（SFT）と直接選好最適化（DPO：AIの出力を人間の好みに合わせる手法）による事後学習まで行った「llm-jp-4-33b-thinking」の2種類。ライセンスは商用利用可能な「Apache 2.0」。 4月に公開した「LLM-jp-4 32B-A3B」はモデルの中に複数の処理役を用意し、入力内容に応じてその一部だけを動かすことで処理効率を高めた「MoE」を採用したが、今回発表したLLM-jp-4 33Bはモデル全体のパ