世界最大55万台のGPUを持つxAI、実は6万台分しか使えていないことが判明 | XenoSpectrum

TL;DR xAIのAIクラスターは計算能力の11%しか使えていない。55万台のGPUを保有するが、実質6万台分しか機能していない。新社長は2ヶ月以内にMFU50%への改善を宣言した。 世界最大規模のAIクラスターを手にしながら、その計算能力の11%しか使えていない——このパラドックスがxAIの「Colossus」で起きている。総投資額180億ドル、55万台超のGPU、総電力1GWという史上最大規模のハードウェアが、業界標準の3分の1以下の効率で稼働している。The Informationが報じた内部告白は、テック企業のハードウェア競争の虚実を露呈させた。新社長のMichael NicollsはこのMFU（Model FLOPs Utilization、モデルの浮動小数点演算利用率）の数値を「embarrassingly low（恥ずかしいほど低い）」と表現し、2ヶ月以内に50%への改善を

[georgew]

やっぱりAI投資ブームって相当下駄履いてるんじゃないの？

[u_mid]

用途が無いんか？とか思ったけど違った／大規模AI訓練は同期待ちや通信でGPU稼働率35〜45%が現実的な上限、と。Googleは46%、Metaは43%、xAIが11%。つまり49万台余ってるわけではなく、11%だと55万まで増やしたから6万分使えてる

[trashcan]

それが宇宙に出て残りのGPUの部分を使うようになればテレパシーだって予知能力だって高くなるよな

[y-mat2006]

昭和のころに言われていた、人間は脳細胞の一割しか使ってないと言うガセビア（wikipediaに「脳の10パーセント神話」が存在）があったな。

[daishi_n]

並列度が上がるほどちょっとした同期待ちや通信遅延がボディーブローのように効く。昔のスパコンでは並列大規模系がソフトウェアチューニングやノード間通信の問題で実効性能低かったのと同じ

[mamezou_plus2]

イーロン・マスク系はいつもソフトの詰めが甘い。自動運転もそう

[You-me]

昔のスパコンの話見てるみたいだと思ったらやっぱそう思うよね

[kisiritooru]

なんだか嘘xAI

[rawwell]

allreduce やalltoall の同期待ちがそれだけ難しい問題ということ。

[naqtn]

（読んでないコメ多すぎない？

[typographicalerror]

スーパーギタリストの後ろの積み上げマーシャルみたいな話かな / 関係ないけどイングヴェイ先輩はガチで全部のアンプから音を出した結果制御不可能になったりしたことがあるとのこと

[ledsun]

稼働してることにして40万台くらい横流ししたら結構儲かるんじゃないか？（横領です

[enemyoffreedom]

AIビッグテックのメモリやGPUの買い占めは競合他社への妨害も兼ねているだろうから、稼働率の低さはこれまであまり問題とされなかったのかもしれない。エージェント機能の普及等で計算資源が逼迫して問題が浮上したか

[harumomo2006]

買い占めは他社の妨害目的だと思ってた

[abhuzl]

使わないんなら市場に流してくれや。こちとらGTA6が控えとるんやぞ。

[shikiarai]

今までその問題に取り組んでこなかったことが驚きだわ。富豪的アレじゃん

[RXRHsZcJ6xnGXZR8TEZA6hAxzRd3mkD]

>大規模AI訓練では通信オーバーヘッドや同期待ちが避けられないため、35〜45%が現実的な上限 | はえー(訓練というタスクに限れば)半分も使えないもんなのか

[PeterFukuda]

Grokが今の9倍ウザくなったらiPhoneを叩き割るだろう

[omega314]

流石にタイトルがミスリードでは。

[f_d_trashbox]

NIGHT HEAD

[srgy]

55万台をフルに使ってしまうとシンギュラリティが起こってしまうので敢えてセーブしてる可能性

[m7g6s]

使わね―なら市場に放出しろクズ。どんだけメモリ上がったと思ってんだカス

[yamadadadada2]

大規模に買うとコスパよく買えるうえに先に大きなマイナスを作れるから税金面でのメリットが大きいんではないか

[eirun]

ジャパンカルチャーだ……これはジャパンでいう「どんぶり勘定」ですよ……。

[S0R5]

こういうののせいで値上がりしてるのかな

[crimson_diamond]

いや、じゃあやってみ？まじ難しいから

[denqueue]

MFU低すぎワロタ

[cl-gaku]

そんなやつのせいで俺のメモリの価格が…？

[auto_chan]

まだそれだけ余力を残しているってことか、恐ろしいぜ。

[lli]

購入は力技でもソフトウェアの最適化はなかなかそうもいかないもんな