『NVLink Bridgeで複数GPUを繋いだら、それらが1GPUとして扱えるようになるんでしょ？』という誤解をされているお客様をしばしばお見受けいたします。こちらの記事では、それが誤解であること、また、SLIやUnified Memoryといった関連する情報についても整理して解説いたします。間違った期待を抱いて失敗しないように、正しい理解を深めていきましょう。 GPUのメモリ空間は他デバイスから隔絶されています GPU上には演算するためのプロセッサと、データを一時的に置いておくためのメモリ(VRAM)が搭載されています。GPUのメモリを、CUDAで書かれたプログラムから利用するには、cudaMallocでメモリ領域を確保し、cudaMemcpyを使ってホスト(CPU側)のメモリとデータの送受信を行い、GPU上で演算kernelとする関数（以下、GPU-Kernel）を呼び出し、最後にc
NVIDIAとインテルとIBMはどうして差がついてきたのか、あるいは富士通「富岳」CPUが民間普及しなかったのは何故か
NVIDIAと、インテル・IBMはどうして差がついたのか、疑問に思う。 AIで言えば、IBMのWatsonがずっと先行していた。 AIはニューラルネットワークを模倣していると言われ、ニューロモーフィックというチップを、IBMは作り、その後、メンバーが移籍してインテルも作った。 現在、ニューラルネットワークとは違うものになったが、勝っているのはNVIDIAになっている。 先日、1.58bitのBitNetが話題になったが、LLMではないが昔BinaryConnectで0.68bitまで下げる案を出したのもIBMのメンバーだ。 ハッカーニュースでBitNetについてIBMだった人がコメントしている。IBMはそれなりに早かったはずだ。 https://news.ycombinator.com/item?id=39544500 普通のGPUの会社だと、ゲーム用のGPUボードだけを作っていたと思うが
今年も始まりました、Microsoft Ignite 2023！本日発表された、CEOのSatya Nadella氏のキーノートを日本語でまとめました。ChatGPTが発表されてから1年が経過しました。 進化のペースは凄まじいものです。我々は新しい時代に入ろうとしています。ただの新しい技術に留まりません。 このAIの時代によって、製品を作ったり、安全性を考えたりと、実課題を解決しています。 Airbnb、Shopifyや、BTや電通などもMicrosoft Copilotを展開しています。そして、組織は独自のCopilotを作成しています。 そして、Copilotは非常に生産性を向上させています。より少ない時間で情報を集めたり、ミーティングを行ったりすることができます。 Copilot はタスクを素早くこなすことが可能になり、新しいUI（ユーザーインターフェース）として、世界のナレッジだけ
米AI企業のDatabricksは3月27日（現地時間）、“オープンな”汎用LLM「DBRX」を発表した。同社によると、DBRXは標準的なベンチマークで既存のすべてのオープンモデルより優れたパフォーマンスを発揮するという。ただし、マルチモーダルではない。 DBRXは、オープンソースプロジェクトMegaBlocksに基づいて構築されたMoE（Mixture of Experts；混合エキスパート）を採用した。このMoEは、他のMoEと比較してトレーニング速度が2倍以上、計算効率も最大2倍になるという。 サイズは1320億パラメータと米MetaのLlama 2のほぼ2倍だが、速度はLlama 2の2倍という。言語理解、プログラミング、数学、ロジックのベンチマークで、Llama 2 70B、仏Mistral AIのMixtral 8x7B、米XのGrok-1、米OpenAIのGPT-3.5を上回
Marking a major investment in Meta’s AI future, we are announcing two 24k GPU clusters. We are sharing details on the hardware, network, storage, design, performance, and software that help us extract high throughput and reliability for various AI workloads. We use this cluster design for Llama 3 training. We are strongly committed to open compute and open source. We built these clusters on top of
カテゴリー DX (2) 一般 (58) 研究会 (6) 働き方 (4) 技術 (351) Edge AI (2) Edge Computing (12) Erlang (1) FIWARE (2) Fog Computing (9) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (4) RealTime Web (14) SRE (2) Webサービス (42) インフラ (7) コンテナ (3) ストレージ (92) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (214) 仮想化 (110) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティング
2024年5月、Microsoft の開発者向けイベント「Microsoft Build 2024」が開催されました。Windows の最新 AI 機能 (Copilot+PC) が開催前日に発表されるなど、Copilot を中心として Microsoft が AI に対する投資を積極的に行っていることをアピールする場になっていました。 数多くあったアップデート・アナウンスのうち、本稿ではインフラ エンジニア[1]の観点から重要だと思われるものをピックアップして、簡単に紹介していきます。 仮想マシン: 第一世代 Cobalt 100 (Preview) Azure Cobalt 100 プロセッサを使用した第一世代の Azure 仮想マシン シリーズが提供開始されました (Dpsv6 / Dpdsv6 / Dplsv6 / Dpldsv6)。 Cobalt 100 は、Microsoft
NVIDIAの新アーキテクチャ「Blackwell」は生成AI特化、汎用人型ロボットにも適用：人工知能ニュース（1/2 ページ） NVIDIAは「GTC 2024」において、新たなGPUアーキテクチャ「Blackwell」を発表。AI処理性能で前世代アーキテクチャ「Hopper」の5倍となる20PFLOPSを達成。生成AIの処理性能向上にも注力しており、Hopperと比べて学習で4倍、推論実行で30倍、消費電力当たりの処理性能で25倍となっている。 NVIDIAは2024年3月18日（現地時間）、米国サンノゼで開催中のユーザーイベント「GTC（GPU Technology Conference） 2024」（開催期間：同年3月17～21日）の基調講演において、新たなGPUアーキテクチャ「Blackwell」を発表した。浮動小数点演算ベースのAI（人工知能）処理性能で、2022年3月発表の前
NVIDIAが数兆パラメータ規模のAIモデルを実現するGPUアーキテクチャ「Blackwell」と新GPU「B200」を発表
NVIDIAが技術カンファレンス「GTC 2024」の中で、2年ぶりの新たなGPUアーキテクチャ「Blackwell」と、BlackwellアーキテクチャベースのGPU「B200」を発表しました。Blackwellにより、あらゆる組織がコストとエネルギー消費を25分の1に抑え、数兆パラメータの大規模言語モデル(LLM)によるリアルタイム生成AIを構築・実行可能になるとNVIDIAは述べています。 生成 AI のための Blackwell アーキテクチャ | NVIDIA https://www.nvidia.com/ja-jp/data-center/technologies/blackwell-architecture/ Blackwellアーキテクチャは、2022年に発表されたHopperアーキテクチャの後継です。名前は、アメリカ科学アカデミーにアフリカ系アメリカ人として初めて殿堂入り
サイバーエージェントの「生成AI用ネットワーク」の作り方 イーサネットで分散学習基盤｜BUSINESS NETWORK
GPUクラスターによる分散学習基盤を支える“ロスレス”ネットワークをイーサネットで構築・運用するには、どんな技術と仕組みが必要なのか。先駆者であるサイバーエージェントの実践例から探る。 GPU間通信に専用リンク 「1つのネットワークで複数の要件を満たすことは、もう難しい。ストレージ用、インターネットとの通信用、そしてGPU同士のインターコネクト用と、用途別にネットワークを分けて作らなければならなくなったことが今までとの違いだ。しかも、その種類はどんどん増えていく」 2023年春に日本で初めてNVIDIA DGX H100を導入し、社内向けの生成AI基盤「ML Platform」を構築したサイバーエージェント。同基盤のネットワーク構築・運用を担うCIU Platform Div ネットワークリーダーの内田泰広氏は、データセンター（DC）ネットワークの変化についてそう語る。 （左から）サイバー
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Dell Technologiesは、同社の年次イベント「Dell Technologies World 2024」で、AI時代に向けた戦略を明確に示した。中核は、イベントで発表した「Dell AI Factory」で、NVIDIAの技術を利用する「Dell AI Factory with NVIDIA」とは分けている。グローバル最高技術責任者（CTO）のJohn Roose氏に、Dell AI Factoryなどの施策を聞いた。 ――Dell AI Factoryを発表しました。AI向けインフラの技術スタックといいますが、開発の背景を教えてください。 われわれは、エンタープライズに注力しています。企業がAIを導入する場合、サードパーテ
Metaは2024年4月にオープンソースの大規模言語モデルであるLlama 3をリリースしたほか、広告主向けに宣伝用画像やテキストのAI生成ツールを展開するなど、大規模言語モデルの開発に注力しています。そんなMetaが大規模言語モデルのトレーニングにおいて何を課題と認識していたのか、どのようにトレーニングに取り組んだのかについて解説しました。 How Meta trains large language models at scale - Engineering at Meta https://engineering.fb.com/2024/06/12/data-infrastructure/training-large-language-models-at-scale-meta/ Metaは以前から、FacebookやInstagramのレコメンデーションシステムのため、さまざまなAIモ
NVIDIA MellanoxのNICである「ConnectX」シリーズはUbuntuカーネルに組み込まれたドライバーでも基本的な機能は動くのですが、Mellanox自身がより高機能な周辺ツールを含むソフトウェアパッケージを「OFEDドライバー」として提供しています。今回はこのOFEDドライバーを、セキュアブートが有効化されたUbuntuにインストールする方法を紹介しましょう。 SmartNICで使えるInboxドライバーとOFEDドライバー 2019年にNVIDIAに買収されたMellanoxは、HPC（High-Performance Comuting）やデータセンターなどに向けて、高速なネットワークデバイスを提供する会社でした。現在でもMellanox時代に由来する製品は、Mellaoxのブランド名を冠して提供されています。そのNVIDIA Mellanoxの代表的な製品のひとつが「
日本の産業技術総合研究所(AIST)は量子コンピューティング機能を提供するハイブリッドスーパーコンピューターを構築するプロジェクト「ABCI-Q」をNVIDIAと提携して進めています。ABCI-Qは早ければ2025年度から利用可能で、医薬品研究や物流の最適化などのアプリケーション開発が想定されています。 Nvidia to help Japan build hybrid quantum-supercomputer - Nikkei Asia https://asia.nikkei.com/Business/Technology/Nvidia-to-help-Japan-build-hybrid-quantum-supercomputer NVIDIA To Collaborate With Japan On Their Cutting-Edge ABCI-Q Quantum Superco
関連キーワード SSD | 半導体ストレージ | ハードディスク | ストレージ SSDをより深く知る上でとりわけ重要であり、ストレージの購入や運用においても頻繁に接することになるのが「NVMe」（Non-Volatile Memory Express）だ。これがストレージの接続に関わる仕組みであることを知っている人は少なくない。 NVMeは「SATA」（Serial ATA）のような類似する規格とは何が違い、そうした規格とは“別物”だと見ることができるのはなぜなのか。その根拠となる点を解説しよう。 「NVMe」がSASやSATAとは“全然違う”理由はこれだ 併せて読みたいお薦め記事 駆逐するSSD、生き残るHDD 第1回：SSD、HDDの違いが消える 「HDD不要論」は“ガセ”じゃなかった？ 第2回：SSDによる「HDD代替」をリアルな話に変えた“QLCの進化”とは？ 第3回：SSDには
5月下旬に発表されたNvidiaの2025年度第1四半期（2024年2月～4月）の業績はかつての2018年のメモリバブルを思い出す。当時Samsungは2018年第2四半期の営業利益率は55.6%という儲けすぎ（生産量をほとんど増やさず単価の値上げで売り上げが増えていたから）状態だったが、今のNvidiaもそれに近い状況が続いてきた。単価は高いものだと1個500万円もするらしい。2024年度第1四半期は調子が良いいつも通りの30%の営業利益率（GAAPベース）だったが、24年度第2四半期には50.3%、第3四半期に57.5%、第4四半期に61.6%、そして2025年度第1四半期には64.9%という儲けすぎ状態になった。 図1 Computex Taipei 2024でプレゼンしていたJensen Huang氏 スクリーンショットから 営業利益率が50%を突破するという儲けすぎ状態はほぼバブ
Introducing Falcon: a reliable low-latency hardware transport | Google Cloud Blog
Google opens Falcon, a reliable low-latency hardware transport, to the ecosystem At Google, we have a long history of solving problems at scale using Ethernet, and rethinking the transport layer to satisfy demanding workloads that require high burst bandwidth, high message rates, and low latency. Workloads such as storage have needed some of these attributes for a long time, however, with newer us
Red Hat Enterprise LinuxのEC2インスタンスに複数のENIやIPアドレスを割り当てている場合はIMDSv2のみにしづらい件 | DevelopersIO
Red Hat Enterprise LinuxのEC2インスタンスに複数のENIやIPアドレスを割り当てている場合はIMDSv2のみにしづらい件 nm-cloud-setup が IMDSv2をサポートするまで、複数のIPアドレスを割り当てる環境においてはIMDSv1を使い続けることになりそう nm-cloud-setup ってなんだろう? こんにちは、のんピ(@non____97)です。 皆さんはIMDSv2のみに限定したいなと思ったことはありますか? 私はあります。 IMDSv2のみに限定する場合、IMDSv1が使われていないことを確認する必要があります。 以前、IMDSv1を使用しているプロセスを特定できるIMDSパケットアナライザーの記事を投稿しました。 こちらの検証の中でRed Hat Enterprise Linux(以降RHEL)のEC2インスタンスではnm-cloud-s
2022年12月、筑波大学のキャンパスに“天馬”が舞い降りた。「Pegasus」（ペガサス）と名付けられたスーパーコンピュータ（スパコン）が稼働し始めたのだ。プロセッサやメモリなど当時の最新テクノロジーをつぎ込んで生まれたPegasusは、科学研究における使いやすさを最重視しながら、スパコンの省エネ性能を比べる世界ランキングで国内1位にも輝いた。 Pegasusは、筑波大学が世の中のどこにもないものをイチから作り上げたスパコンだ。その名前に、天翔る馬のような高速計算の意味を込め、力強く羽ばたく翼にビッグメモリを重ね合わせている。 Pegasusには米NVIDIAのGPU「NVIDIA H100 Tensor コア GPU」や米IntelのCPU「第4世代Xeon」、不揮発性メモリ「Optane」などの最先端テクノロジーが詰まっている。しかし、そのすごさは部品の性能だけではない。Pegasu
This post is an exploration of the supply and demand of GPUs, particularly Nvidia H100s. We’re also releasing a song and music video on the same day as this post. This post went mega viral. It was on the frontpage of HN, techmeme, many email newsletters, got tweets from Andrej Karpathy and others, comments from Mustafa (who will have $1B of GPUs online soon) from Inflection and Emad from Stability
Groq, an AI hardware startup, has been making the rounds recently because of their extremely impressive demos showcasing the leading open-source model, Mistral Mixtral 8x7b on their inference API. They are achieving up to 4x the throughput of other inference services while also charging less than 1/3 that of Mistral themselves. https://artificialanalysis.ai/models/mixtral-8x7b-instructGroq has a g
6月13日、Engineering at Metaで「Metaが大規模言語モデルをトレーニングする方法(How Meta trains large language models at scale)」と題した記事が公開された。この記事では、AIの研究開発において直面している計算規模の大幅な拡大にどのように対処しているかについて詳しく紹介されている。 以下に、その内容を簡潔にまとめて紹介する。 大規模モデルのトレーニングの課題 大規模な言語モデル（LLM）のトレーニングでは、GPUの数が増えるにつれて、ハードウェアの故障による中断の可能性が高まる。これを最適に行うためには、次の4つの要素が重要である。 ハードウェアの信頼性：ハードウェア故障を最小限に抑えるため、厳格なテストと品質管理を行う。 故障時の迅速な復旧：ハードウェア故障が発生した場合、迅速に復旧する必要がある。これには、再スケジュー
As we continue to focus our AI research and development on solving increasingly complex problems, one of the most significant and challenging shifts we’ve experienced is the sheer scale of computation required to train large language models (LLMs). Traditionally, our AI model training has involved a training massive number of models that required a comparatively smaller number of GPUs. This was th
世界のスーパーコンピュータ(スパコン)に関するランキングの2023年11月版(第62回)「TOP500」が11月14日(米国時間)、米国コロラド州デンバーにて開催されているHPCに関する国際会議「SC23」にて発表された。 毎年2回、6月と11月に発表されるTOP500は今回で62回目。トップとなったのは、米ORNL(米オークリッジ国立研究所)に設置されたエクサスケールスパコン「Frontier」で4連覇を達成した。LINPACK性能は1.194ExaFlopsで、前回の6月の発表から更新はない。 2023年11月版のTOP500で4連覇を達成したエクサスケールスパコン「Frontier」 (出所:TOP500 Webサイト) 2位は米国アルゴンヌ国立研究所に設置されたエクサスパコン「Aurora」で、LINPACK性能は0.585ExaFlops(585.34PFlops)。3位は202
【急展開】NVIDIAの天下が終わる？ MSFTが発表したAIモデル「BitNet」がやばすぎる‥‥GPUが不要になるだと！？😨🥺😳 : ライフハックちゃんねる弐式
2024年03月01日 【急展開】NVIDIAの天下が終わる？ MSFTが発表したAIモデル「BitNet」がやばすぎる‥‥GPUが不要になるだと！？😨🥺😳 Tweet 11コメント ｜2024年03月01日 12:00｜Web・テクノロジー｜Editタグ ：AIGPU機械学習NVIDIABitNet マイクロソフトが発表したBitNet、やばすぎて半信半疑ながらも真実ながら凄すぎて期待してしまう。 行列の中身を1ビット(0 or 1のみ)にして、行列演算に乗算が必要なくなって高速化させてるらしい。 高速化する理屈はわかるけど、論文によるとなぜか精度も向上してるらしい。 やばすぎて一旦様子見。 pic.twitter.com/jugSP5RpLX— goto (@goto_yuta_) February 28, 2024 「1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NVLink BridgeでGPUを繋いでも1GPUにはなりません | HPCシステムズ Tech Blog
Microsoft Ignite 2023 キーノート日本語まとめ - 吉田の備忘録
Databricks、“オープン”な汎用LLM「DBRX」リリース 商用利用可
Building Meta’s GenAI Infrastructure
クラウドの障害診断の自動化に関する論文が国際ジャーナル「IEEE Access」に採録
Microsoft Build 2024 - インフラ関連アップデートまとめ
NVIDIAの新アーキテクチャ「Blackwell」は生成AI特化、汎用人型ロボットにも適用
AIは既存データセンターで動かせない--デルのCTOに聞く方策
Metaが大規模言語モデルをトレーニングする上でどこに注意したのか＆どのように取り組んだのかを解説
第782回 MellanoxのOFEDドライバーをセキュアブートが有効化されたUbuntuにインストールする | gihyo.jp
NVIDIAと日本の産業技術総合研究所が提携して構築を進める量子スーパーコンピューター「ABCI-Q」とは？
同じSSDでもなぜ「NVMe」接続はSASやSATAとは“別物”なのか？
早くも形成されたNvidia 包囲網（津田建二） - エキスパート - Yahoo!ニュース
筑波大学のスパコン「省エネ性能で日本一」は何がすごいのか “最先端”に懸ける思い
Nvidia H100 GPUs: Supply and Demand
Groq Inference Tokenomics: Speed, But At What Cost?
Metaがいかにして大規模言語モデルをトレーニングしているか、その取組みを大公開
How Meta trains large language models at scale
日本の「富岳」は4位に後退、スパコン性能ランキングTOP500(2023年11月版)が公開