日本語に特化した大規模言語モデル（生成AI）を試作｜2023年｜NICT-情報通信研究機構

国立研究開発法人情報通信研究機構（NICT（エヌアイシーティー）、理事長: 徳田 英幸）は、ユニバーサルコミュニケーション研究所データ駆動知能システム研究センターにおいて、独自に収集した350 GBの日本語Webテキストのみを用いて400億パラメータの生成系の大規模言語モデルを開発しました。今回の開発を通し、事前学習用テキストの整形、フィルタリング、大規模計算基盤を用いた事前学習等、生成系の大規模言語モデル開発における多くの知見を得ました。現在は、更に大規模な1,790億パラメータの生成系大規模言語モデル（OpenAI社のGPT-3と同等規模）の学習を実施中で、また、学習用テキストの大規模化にも取り組んでいます。今後、共同研究等を通して民間企業、国研、大学等と協力して、日本語の大規模言語モデルの研究開発や利活用に取り組む予定です。 NICTでは、これまでWebページを収集し、インターネット

[harumomo2006]

免許制になると個人でこういう研究をやろうと思っても簡単には手を出せなくなる

[napsucks]

「にくと」と呼んでたけど「えぬあいしーてぃー」なのね

[misshiki]

“従来から利用していた高品質な日本語テキストを事前学習することで、約4か月で開発。現在1,790億パラメータのモデルも学習中。今後は民間企業、国研、大学等と共同研究等を通して更に発展”

[toaruR]

『Webから収集した350 GBの日本語テキストを用いて開発』……なんつか新聞雑誌を含む国会図書館の蔵書は人類に資する限り学習して良いみたいな特例法が必要と思う（´－｀）タダシイ学習元データの確保は生命線よ

[takayaman]

生成系言語モデルには、偽情報やバイアス、各種悪用のリスクが指摘されており、NICTでは、こうしたリスク解決のために時間を要し、その活用は少し先になると考えていた

[knok]

そのコーパスの取得元が気になる。HF hubにあるやつはだいたいWikipedia/CC-100/C4ばかりだからなあ

[high190]

"今後、共同研究等を通して民間企業、国研、大学等と協力して、日本語の大規模言語モデルの研究開発や利活用に取り組む予定"

[aneet]

開発中の1790億パラメータのLLM、GPT-3.5とほぼ同規模だな。日本語でここまで大きいのは今んとこないかも。

[cloverstudioceo]

思いっきってモデル公開すりゃいいのに。営利団体じゃないんでしょ！

[ya--mada]

日本語LLM

[udofukui]

すごいよー！！！日本もやるじゃん！！！

[nakag0711]

エヌアイシーティーやと！？ニクトちゃうんか

[urtz]

これによって各社のモデルの品質が底上げされるんだろうか

[hanajibuu]

あと20年遅く産まれたかった。

[dotneet]

こ、こうかい、して。。。もでる。。。こうかい、して。。。

[NEXTAltair]

チューニングに協力するから公開してみ

[nmcli]

今まで国語研と絡まずにここまでやったってこと？すげえ