“純粋な国産AI”誕生 ハードもデータも全部日本製 スパコン「富岳」で開発

スーパーコンピュータ「富岳」で学習をした日本語特化の大規模言語モデル（LLM）が誕生した。東京工業大学と東北大学、富士通、理化学研究所、名古屋大学、サイバーエージェント、AIベンチャー企業のKotoba Technologies（東京都港区）の合同研究チームは5月9日、富岳で開発したLLM「Fugaku-LLM」を発表した。パラメータ数は130億。GitHubやHugging Faceで公開しており、研究や商業目的で利用できる。 LLMの学習にはGPUを使うのが一般的だ。しかし、世界中でLLMの開発競争が起こっており、最新のGPUを大量に入手するのは困難な状況に陥っている。そんな中、東京工業大学と東北大学、富士通、理化学研究所の研究チームでは富士通製の国産CPUを中央演算処理装置に使う富岳で、LLMの開発を進める研究を2023年5月に開始。7月には名古屋大学とサイバーエージェント、Koto

[daishi_n]

A64FXはCPU直結RAMがHBM2だったりするのでHPC用GPUと近いんだけど、8/16bit整数、16/32浮動小数点数のみ対応なのでNVIDIAほどAI演算に特化してないのよね。A64FXのSVEからArmv9のSVE2へはリコンパイルが必要なので広がりは少ないかな