なぜ日本はGPUのない「富岳」でLLMを研究するのか 外国に後れを取らないための“現実的な理由”

米OpenAIの大規模言語モデル（LLM）・GPT-4は今、世界を大きく塗り替え続けている技術の一つだ。世界各国の企業がこぞってLLMの開発を進めている。特にGAFAなどの巨大企業は、その膨大な資源を使ってすでにいくつものLLMを世に放っている。 そんな中、日本では理化学研究所と富士通、東京工業大学、東北大学が、スーパーコンピュータ「富岳」を使ったLLMの研究を今まさに進めている。学習手法の研究からデータの法的な扱いまで幅広く検討し、日本のLLM開発の基盤を作るのが目的だ。 深層学習といえば、今ではGPUを使うのが一般的になっている。しかし富岳はそのGPUを搭載していない。日本にはGPU搭載スパコンも存在するのに、なぜ富岳を使ってLLMを研究するのか。 今回は富士通研究所・コンピューティング研究所の中島耕太所長と白幡晃一さんに、富岳を使ったLLM研究について、その意義を聞いた。富岳は確かに

[JULY]

GPU がよく使われるのは、入手しやすいベクトル型プロセッサだから、であって、強力なベクトル型プロセッサがあれば、GPU である必要はない。富岳は基本スカラー型だけど、ベクトル演算機能もそれなりに、らしい。

[TakamoriTarou]

LLMの研究であると同時にそのためのHPCそのものの研究でもあるって事だと思うけど、なんでこんな曲解したような結論になってるのやら。富岳も利用スケジュールカツカツ。富岳はHPCそのものの研究枠があるのでたぶんそれ

[NOV1975]

一応富岳はベクター演算能力持ってるからな。

[fusanosuke_n]

使えるものは猫でも使え。

[jerryb]

GPUスパコンとしては産総研のABCIシステムがあるが空きがない、だから富岳って話だが...。

[yas-mal]

「なぜ」って、「政治案件("政策対応枠")で、やらざる得ないから」では？／「モデル学習を効率良く実行する技術」の開発(「＝GPUとの差を埋める」と理解)に今年度いっぱいを当てるのと、記事の説明は整合するのだろうか

[omioni]

東京工業大学 学術国際情報センター側も多少遅くてもノード時間が非常に沢山取れるのが魅力的だから参画したとか https://xtech.nikkei.com/atcl/nxt/column/18/02423/071800043/

[kawani]

富岳作っといて良かったね。

[minamihiroharu]

利点があって使うわけではなくこれは次善の策、って話であって他機種に対して何かの利点がある訳じゃないのね。

[Cru]

“今回の「FLOPs」は計算速度ではなく計算量" そういう使い方があるらしい。https://qiita.com/Haaamaaaaa/items/4277a472f4689d72de20 計算量に関しては何scaling lowのことを言ってるのなら、普通に冪乗則が出てたような。どっから10の23乗が

[tach]

GPU確保競争に敗れた日本。公的に敗北を認めるわけにはいかないので富岳使って開発競争にまだ参加しているふりだけはしてますって、何で本当のことを書かないのだ？　こんなコトしてるから戦争にも負けるんだよ

[y_hirano]

日本にはNECのベクトル演算器があるじゃないか。あれLLMに使えるかは知らんけど。

[uzusayuu]

重箱の隅クソコメですみませんが「Hugging face」です「Hagging」でなく。

[chintaro3]

ゲーム用のGPUは安い割に高性能だが、ゲーム向けと割り切っているので信頼性が無さすぎる。一方、高信頼の業務用GPUはかなり割高になる。

[sds-page]

LLM開発半年くらい止めようとする人も居るし

[LM-7]

GPUSOROBANでは足りないの？

[satorhyum]

トライアンドエラーの回数増やせないならどうせ負けるよ。

[qpci32siekqd]

OpenAIですら職種はHPCエンジニアよ。https://startup.jobs/high-performance-computing-engineer-openai-1779852

[ad2217]

富岳は暇してたので使うことにしたってことか。政治的理由じゃないの。

[Xray]

誰も使ってないから焦ってるだけでしょ

[ooblog]

#2位じゃだめなんですか #スパコン #富岳 #AI #LLM #GPU #さくらのクラウド 「LLMの研究~しかし富岳~GPUを搭載してない~24年度以降~GPUクラウド~その間に諸外国と差~23年度~1000垓規模の計算を実現できるのは日本で富岳だけ」

[misshiki]

“ある時点でなぜか急に能力が跳ね上がり、それまでできていなかったような処理をできるようになる──それが10の23乗FLOPs”大規模言語モデルの「創発的」能力の話。

[siriusarc7]

「GPUスパコンは共有資産でみんなが使ってるから仕方なくABCIの1/17の性能の富岳でやってます」ってだけ。富岳も共有資産だろうに…Hugging Faceもスペルミスしてるし雑。

[yoko-hirom]

他に使える資源が無いからだと。『現実的』と言えば恰好を付けられると思っているのだろうか。

[ET777]

「それまで全くできなかったことが教えてもいないのに突然できるようになる」

[dekaino]

雑なロジックだなあ。トップランナーなら雑のまま拙速で逃げ切る戦略もありだけど、フォロワーなのに雑に走り出すのどうなんだろう?

[vcc]

“過去の研究の中でLLMには不思議な性質が見つかっているという。LLMの学習を進めていると、しばらくはあまり派手な性能向上が見られないのだが、ある時点でなぜか急に能力が跳ね上がり、それまでできていなかったよう