パラメーター1750億個、産総研・東工大など世界トップレベル「ＬＬＭ」公開へ ニュースイッチ by 日刊工業新聞社

産業技術総合研究所と東京工業大学、国立情報学研究所などは、世界トップレベルの大規模言語モデル（ＬＬＭ）の構築に着手した。まずはパラメーター数が１７５０億個のＬＬＭを構築して経験を蓄える。オープンに利用できるモデルになる。これを踏み台に、世界トップレベルのＬＬＭを構築して公開していく。 情報学研が主宰する勉強会「ＬＬＭ―ｊｐ」と東工大が開発主体となり、産総研の人工知能（ＡＩ）向けスパコン「ＡＢＣＩ」を利用してＬＬＭを構築する。１７５０億パラメーターは米オープンＡＩが２０２０年に発表したＬＬＭ「ＧＰＴ―３」と同規模になる。 学習データと学習プロセスを日本で管理できるため、透明性の高いＬＬＭになる。誤情報などが生成される仕組みを押さえられる。学習原理の解明や生成系ＡＩのロボット応用などに展開していく。

[misshiki]

“産業技術総合研究所と東京工業大学、国立情報学研究所などは、世界トップレベルの大規模言語モデルの構築に着手。まずはパラメーター数が１７５０億個のＬＬＭを構築して経験を蓄える。オープンに利用できる”

[ginga0118]

日本にまわってくるGPUが不足してるんじゃなかったっけ？

[shodai]

そんなでかいの作ってたのか