スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発について

東京工業大学、東北大学、富士通株式会社、理化学研究所は、「富岳」政策対応枠において、スーパーコンピュータ「富岳」（以下、「富岳」という）を活用した大規模言語モデル（Large Language Model, LLM）[用語1]の分散並列学習手法の研究開発を2023年5月から実施します。 大規模言語モデルは、ChatGPT[用語2]をはじめとする生成AIの中核として使用されている深層学習のAIモデルであり、4者は今後、今回の研究開発の成果物を公開することで、アカデミアや企業が幅広く使える大規模言語モデルの構築環境を整え、国内におけるAIの研究力向上に貢献し、学術および産業の両面で「富岳」の活用価値を高めることを目指します。 ChatGPTに代表される大規模深層学習モデル（基盤モデル）は、インターネットやスマートフォンのように社会全体のあり方を変える革新的な技術であり、Society5.0にお

[misshiki]

“東京工業大学、東北大学、富士通株式会社、理化学研究所は、「富岳」政策対応枠において、スーパーコンピュータ「富岳」を活用したLLMの分散並列学習手法の研究開発を2023年5月から実施。”

[deep_one]

政策対応枠？

[shunkeen]

“「富岳」の超大規模な並列計算環境において大規模言語モデル学習を効率良く実行する技術”／そう言えば富岳って、GPUじゃなくて汎用CPU使ってるんだっけ。ものすごい超絶技巧が編み出されたりするのだろうか？

[yas-mal]

言語モデルが何か示さないまま、高速化と並列化をやると書いてあるように見えるのだけど。／「アカデミアや企業が幅広く使える大規模言語モデルの構築環境を整え」るのが目的で、学習済モデルが成果物ではない？

[brain-box]

東北大乾研か、言語処理100本ノックとかの。

[TakamoriTarou]

大事だと思うし必要な事だけど、計算リソースはカッツカツ。正直それ以外の計算、産業利用とかにも影響必至なので、もう一台か二台ぐらい富岳作ってほしい。

[KoshianX]

富岳の SVE を使って学習させるとな。nvidia の GPU をごっそり買うより速いのかなあこれ