2024/09/17 約1720億パラメータ(GPT-3級)の大規模言語モデルのフルスクラッチ学習を行い、プレビュー版「LLM-jp-3 172B beta1」を公開 ~学習データを含めすべてオープンにしたモデルとしては世界最大〜 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所 (NIIエヌアイアイ、所長:黒橋くろはし 禎夫さだお、東京都千代田区) の大規模言語モデル研究開発センター(LLMC)は、主宰するLLM勉強会(LLM-jp)の成果として、これまでのデータ活用社会創成プラットフォームmdx(*1)での130億パラメータ・モデルの学習、国立研究開発法人産業技術総合研究所の第2回大規模言語モデル構築支援プログラムによるAI橋渡しクラウド(ABCI)での1750億パラメータ・モデルの学習トライアルの成果を踏まえ、パラメータ数(*2)約1720億(GPT-3級)の大規模言語