2024/12/24 完全にオープンな約1,720億パラメータ(GPT-3級)の大規模言語モデル 「llm-jp-3-172b-instruct3」を一般公開 ~GPT-3.5を超える性能を達成~ 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所 (NIIエヌアイアイ、所長:黒橋くろはし 禎夫さだお、東京都千代田区) の大規模言語モデル研究開発センター(LLMC)は、主宰するLLM勉強会(LLM-jp)の活動の中で、約1,720億パラメータ(*1)(GPT-3のパラメータ数と同規模)の大規模言語モデル(LLM)を2.1兆トークンの学習データを用いてフルスクラッチで学習し、同モデルを「llm-jp-3-172b-instruct3」として一般公開しました。学習データまで含めすべてオープンなモデルとしては世界最大規模です。本モデルは言語モデルの日本語理解能力を測るベンチマーク 「
