NVIDIA、GPUプラットフォーム「Blackwell」発表 「兆パラメータ規模のAIモデル実現」

プラットフォームに搭載する「GB200 Grace Blackwell Superchip」は、新GPU「B200」（2080億個のトランジスタを搭載し、現行の「H100」と比較して、AI向けの作業で5倍の処理能力を発揮するGPU）を2基と1基のGrace CPUを組み合わせたもの。 NVIDIAによると、1兆8000億パラメータのAIモデルをトレーニングするには、Hopper GPUでは8000個のGPUで15メガワットの電力が必要だったが、新スーパーチップであれば2000個で可能で、消費電力は4メガワットで済むという。 NVIDIAはGB200を、水冷ラックスケールシステム「NVL72」などで提供する。これは第5世代NVLinkで接続された72個のBlackwel GPUと36個のGrace CPUを含む36個のGrace Blackwellスーパーチップを搭載する。 Blackwel

[RySa]

因みに富岳でMAX 30MWです（https://www.r-ccs.riken.jp/intro-hpc/hellosc-fugaku/05.html）。この巨大ハードウェアを空冷のイチ筐体に押し込める事が出来る時代が来たらLLMの普及期かなと。

[minamishinji]

済む、って 笑。何だかわけがわからなくなってくるね。 | “新スーパーチップであれば2000個で可能で、消費電力は4メガワットで済む”

[kjin]

“NVIDIAによると、1兆8000億パラメータのAIモデルをトレーニングするには、Hopper GPUでは8000個のGPUで15メガワットの電力が必要だったが、新スーパーチップであれば2000個で可能で、消費電力は4メガワットで済むという。”

[eagleyama]

AI

[misshiki]

“「GTC 2024」で、AI向けプラットフォーム「Blackwell」を発表した。“兆パラメータでリアルタイム生成AIを構築および実行できるようになる”としている。”

[xorzx]

5年後10年後にはスマホに載るのかな？