中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと - まぐまぐニュース！

エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは？人気急上昇中のメルマガ『週刊 Life is beautiful』より読者Q&Aをご紹介。著者の中島さんは「Windows95の父」として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。 1ビットの高速推論AIチップ 米国より先に中国が開発する可能性も 読者からの質

[OkadaHiroshi]

1.58ビットが主流になっても大規模化かつ量産は必要なので、すぐにFPGAでなくTSMCの作るLSIにHBMがついた構造になり、NVIDIAが引き続きそういう新型GPUを作ると思うが、AMDやINTELには逆転のチャンスがあるかもしれない。

[urtz]

1.58BitNetが発表されてしばらく経つが、発表元のMSからうんともすんとも何も出てこない。なので推してしるべし

[shields-pikes]

まあ、利益の額から見ても企業価値が世界一なのは盛り過ぎだと思うけど、量子化や、複数の小型言語モデルの組み合わせなどの手法が発展しても、すぐにGPUのニーズが無くなるものでも無いと思う。競合は出て来そう。

[kotesaki]

推論は1.58bit化して劇的に計算量下がるけど学習は無理じゃね？だからまだまだNVIDIAのアドバンテージは当面続くと思うけどな。それとも学習でも量子化により計算量下げられるのかね？

[golotan]

b1.58は論文見た限りだと訓練時のactivationやweightは8bit量子化だったと記憶してるけど、AI利用が推論に傾倒していくトレンドを見るに市中で要求される演算能力は大幅に削減されていきそう

[kenchan3]

計算が固定されてるならFPGAや専用チップが速いが、専用チップは数がでないので最先端プロセスが使えない。さらにより良い方式がでて古い専用チップがゴミになる。計算負荷の高い専用チップが商業的に失敗する理由

[burnworks]

NVIDIAの優位性は単にハードウェアの話だけじゃなくてCUDA含めたエコシステム全体だと認識してるんですが、GPUに依存せずLLMを開発する可能性についての論文だけでそれが揺らぐきっかけって程の話になるのでしょうか？

[TanpoTP]

『米国政府は、中国に……、最新のGPUの中国への輸出を禁止していますが、それが進化圧となり、1.58ビットで高速に推論を行う専用チップは、中国で先に開発されてしまう可能性があると私は考えています。』

[KoshianX]

“最新のGPUの中国への輸出を禁止していますが、それが進化圧となり、1.58ビットで高速に推論を行う専用チップは、中国で先に開発されてしまう可能性” 規制がむしろ中国の進歩を早めてるんだよなあ……

[the108simulacra]

基本的に推論領域に閉じた話だろ。NVIDIAの囲い込みはCUDAによって盤石だが、推論では戦う余地があるんやな。それも結局､､､ってことになる気がしないでもないが

[TakamoriTarou]

推論にeGPUがいらなくなるのはそうじゃねと言う感じなのかしら

[honma200]

個人的にはここに勝機をAppleが見ているのか気になる。自分達のチップでどこまで勝負できるのか考えてんじゃないかな

[timetrain]

群雄割拠にはなって欲しいけど不要にはならんじゃろ

[ntstn]

AIがNVIDIAのみから分散していくのは確かだろう。用済みにはならんでしょ。どんだけ積み上げてると思ってんの。

[bopperjp]

情報量のと対数ってそういう関係にあったの。。。知らなかった。。/n bit(n桁の2進数) は 2^n の情報量を持つ --> 3つの状態を取る情報を表現するのに必要なbit数は log2(3) = 1.58

[circled]

311の原発問題で菅直人と仲良しアピールし始めてからおかしくなってしまった人の印象。技術だけ語ってくれる分には良いのだけど

[kei_1010]

そもそも論としてNVIDIAが作ればCUDAが使えて引き続き覇権を維持できるのでは？それともイノベーションのジレンマで無理とか？進化圧で中国から出てくるのは嫌だなぁ。

[shodai]

“この研究者は、GPUの代わりにFPGAを使って、より効率の良い推論が可能になることを証明しましたが、専用のハードウェアを作れば、さらに性能が上がります。”