1790億パラメーターに挑戦…情通機構「大規模言語モデル」日本語を猛特訓！ ニュースイッチ by 日刊工業新聞社

情報通信研究機構（ＮＩＣＴ）が１７９０億パラメーターの大規模言語モデル（ＬＬＭ）の開発を進めている。高品質な日本語データを学習させており、日本社会の常識を備えたモデルになると期待される。ＮＩＣＴが学習データを保有しているため、データとモデルの両面から誤情報生成の対策を検証できる。これは日本が人工知能（ＡＩ）を使いこなし、リスクに対応していく知見になる。ＮＩＣＴは産学官に成果を提供する。 「学習途中だが、出来はいまいち。この苦労がＬＬＭ開発の基礎になる」―。ＮＩＣＴの鳥澤健太郎フェローは開発中のＬＬＭの手応えをこう説明する。 ７月に４００億パラメーターのＬＬＭを発表し、現在は１７９０億パラメーターのＬＬＭを開発中だ。巨大なＡＩモデルの学習はリスクが高い。学習の途中で計算が破綻することがたびたび起こるのだ。 そこで破綻を防ぎつつ精度の高い計算を限られたメモリーで実行することがノウハウになる。例

[theatrical]

1790億とか言うの分かりづらいから、179Bとかって言ってほしい。普通llmのパラメータサイズはB表記じゃん。

[bohemian916]

情通機構という略し方は初めて見た。NICTでよくない？

[kuippa]

パラメーター数多いリソース勝負ではかなわんな。子供の学習を考えるに、新規情報収集→回路追加変更（睡眠）で、少ないパラメーターでイテレーションな気もしなくもない。

[misshiki]

“情報通信研究機構（ＮＩＣＴ）が１７９０億パラメーターの大規模言語モデル（ＬＬＭ）の開発を進めている”

[shinobue679fbea]

これ少ないって思うかもしれないが、日本語ってうまくトークナイズすればトークンあたりの情報量が英語の何倍もあるし、今うまくトークナイズする主流の方法が確立されていないので、このくらいでハマる可能性はある

[quwachy]

3年遅れ