Google、イーサネットをさらに高速にするハードウェア支援型の新トランスポート技術「Falcon」を公開 Googleは、イーサネットでさらなる高速通信を実現するハードウェア支援型の新しいトランスポートレイヤの技術「Falcon」を、米カリフォルニア州サンノゼで開催されたデータセンター向けハードウェアを対象としたイベント「2023 OCP Global Summit」で発表したことを明らかにしました。 AIや機械学習のような大規模かつ高速性を要求される処理が増え続けるデータセンターにおいて、より高速なネットワーク技術への要求も高まっています。Falconはこうしたニーズに対応するための技術だと説明されました。 Falconは複数の技術の集合体 Falconは複数の技術の集合体となっており、ハードウェア支援型トランスポートレイヤーとして信頼性、高性能、低レイテンシーを実現するよう設計されて
Marking a major investment in Meta’s AI future, we are announcing two 24k GPU clusters. We are sharing details on the hardware, network, storage, design, performance, and software that help us extract high throughput and reliability for various AI workloads. We use this cluster design for Llama 3 training. We are strongly committed to open compute and open source. We built these clusters on top of
サイバーエージェントの「生成AI用ネットワーク」の作り方 イーサネットで分散学習基盤｜BUSINESS NETWORK
GPUクラスターによる分散学習基盤を支える“ロスレス”ネットワークをイーサネットで構築・運用するには、どんな技術と仕組みが必要なのか。先駆者であるサイバーエージェントの実践例から探る。 GPU間通信に専用リンク 「1つのネットワークで複数の要件を満たすことは、もう難しい。ストレージ用、インターネットとの通信用、そしてGPU同士のインターコネクト用と、用途別にネットワークを分けて作らなければならなくなったことが今までとの違いだ。しかも、その種類はどんどん増えていく」 2023年春に日本で初めてNVIDIA DGX H100を導入し、社内向けの生成AI基盤「ML Platform」を構築したサイバーエージェント。同基盤のネットワーク構築・運用を担うCIU Platform Div ネットワークリーダーの内田泰広氏は、データセンター（DC）ネットワークの変化についてそう語る。 （左から）サイバー
中国のGPUメーカー「Moore Threads」がAIトレーニングやデータセンター向けGPU「MTT S4000」を発表
中国の新興GPUメーカー「Moore Threads」が、2023年12月19日にAIのトレーニングやデータセンター向けGPU「MTT S4000」を発表しました。公式発表によると、MTT S4000のMUSIFYツールはNVIDIAのCUDAとの完全な互換性があるとのことです。 摩尔线程首个千卡智算中心落地，从算力到生态全面加速大模型发展 | 摩尔线程 https://www.mthreads.com/news/146 Nvidia's biggest Chinese competitor unveils cutting-edge new AI GPUs — Moore Threads S4000 AI GPU and Intelligent Computing Center server clusters using 1,000 of the new AI GPUs | Tom's H
Metaは2024年4月にオープンソースの大規模言語モデルであるLlama 3をリリースしたほか、広告主向けに宣伝用画像やテキストのAI生成ツールを展開するなど、大規模言語モデルの開発に注力しています。そんなMetaが大規模言語モデルのトレーニングにおいて何を課題と認識していたのか、どのようにトレーニングに取り組んだのかについて解説しました。 How Meta trains large language models at scale - Engineering at Meta https://engineering.fb.com/2024/06/12/data-infrastructure/training-large-language-models-at-scale-meta/ Metaは以前から、FacebookやInstagramのレコメンデーションシステムのため、さまざまなAIモ
NVIDIA MellanoxのNICである「ConnectX」シリーズはUbuntuカーネルに組み込まれたドライバーでも基本的な機能は動くのですが、Mellanox自身がより高機能な周辺ツールを含むソフトウェアパッケージを「OFEDドライバー」として提供しています。今回はこのOFEDドライバーを、セキュアブートが有効化されたUbuntuにインストールする方法を紹介しましょう。 SmartNICで使えるInboxドライバーとOFEDドライバー 2019年にNVIDIAに買収されたMellanoxは、HPC（High-Performance Comuting）やデータセンターなどに向けて、高速なネットワークデバイスを提供する会社でした。現在でもMellanox時代に由来する製品は、Mellaoxのブランド名を冠して提供されています。そのNVIDIA Mellanoxの代表的な製品のひとつが「
関連キーワード SSD | 半導体ストレージ | ハードディスク | ストレージ SSDをより深く知る上でとりわけ重要であり、ストレージの購入や運用においても頻繁に接することになるのが「NVMe」（Non-Volatile Memory Express）だ。これがストレージの接続に関わる仕組みであることを知っている人は少なくない。 NVMeは「SATA」（Serial ATA）のような類似する規格とは何が違い、そうした規格とは“別物”だと見ることができるのはなぜなのか。その根拠となる点を解説しよう。 「NVMe」がSASやSATAとは“全然違う”理由はこれだ 併せて読みたいお薦め記事 駆逐するSSD、生き残るHDD 第1回：SSD、HDDの違いが消える 「HDD不要論」は“ガセ”じゃなかった？ 第2回：SSDによる「HDD代替」をリアルな話に変えた“QLCの進化”とは？ 第3回：SSDには
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた | DevelopersIO
もっと簡単にVPC内のリソースにアクセスしたい こんにちは、のんピ(@non____97)です。 皆さんはもっと簡単にVPC内のリソースにアクセスしたいと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスターなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect SSMセッションマネージャーとEC2 Instance Connectについては以下記事をご覧ください。 しかし、上述のいずれのパターンもEC2インスタンスやECS Fargateなどの課金が発生するリソースをプロビジョニングする必要があります。 そんな時に
NSDI '23 - https://www.usenix.org/conference/nsdi23/presentation/bai - https://www.microsoft.com/en-us/research/publication/empowering-azure-storage-w…
Introducing Falcon: a reliable low-latency hardware transport | Google Cloud Blog
Google opens Falcon, a reliable low-latency hardware transport, to the ecosystem At Google, we have a long history of solving problems at scale using Ethernet, and rethinking the transport layer to satisfy demanding workloads that require high burst bandwidth, high message rates, and low latency. Workloads such as storage have needed some of these attributes for a long time, however, with newer us
OpenAI Selects Oracle Cloud Infrastructure to Extend Microsoft Azure AI Platform
Press Release OpenAI Selects Oracle Cloud Infrastructure to Extend Microsoft Azure AI Platform Oracle, Microsoft, and OpenAl are partnering to extend the Microsoft Azure Al platform to Oracle Cloud Infrastructure (OCI) to provide additional capacity for OpenAl. OpenAI is the AI research and development company behind ChatGPT, which provides generative AI services to more than 100 million users eve
あまりまとまった情報が見つからなかったので、自分用にまとめたメモです。 Microsoft Learnの情報から、GPUが使えるVMについて雑にまとめました。 Azureで使用できるGPU搭載VMについてAzureではGPUが搭載されたVMの名称はNから始まりますが、NDIVIA社のグラフィックボードが搭載されているとは限りません。 なお、初期設定ではクォータが1つも割り当てられていないので、使用する前に必ずクォータ増加の要求を送信する必要があります。 Azure Machine Learningのコンピューティングでも同じVMが選択肢として表示されますが、クォータは別カウントなので、Azure MLで割り当てられていてもAzure VMで使用する場合は改めてリクエストを送信する必要があります。 以下は、時間あたりのコストが安い順に並べています（料金は9月21日時点のもの）。 NC4as_
NTT and Red Hat Fuel AI Analysis at the Edge with IOWN Technologies
As part of the Innovative Optical and Wireless Network (IOWN) initiative, NTT Corporation (NTT) and Red Hat, Inc., in collaboration with NVIDIA and Fujitsu, have jointly developed a solution to enhance and extend the potential for real-time artificial intelligence (AI) data analysis at the edge. Using technologies developed by the IOWN Global Forum and built on the foundation of Red Hat OpenShift,
日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、IOWN構想の一環として、Red Hat、NVIDIA、および富士通の協力のもと、IOWN技術を用いて郊外型データセンタを活用したリアルタイムArtificial Intelligence（AI）分析を省電力に実現する技術を開発しました。本AI分析基盤では、IOWNオールフォトニクス・ネットワーク（All-Photonics Network、以下、APN）、およびIOWNデータセントリック基盤（Data Centric Infrastructure、以下、DCI）のデータ処理高速化手法を活用しています。本実証実験を通じ、郊外型データセンタによるAI分析において、従来の方式と比べて、遅延時間（センサ設置拠点でデータを受信してから郊外型データセンタでAI分析を完了するまでの時間）を、最大で60％削減できる
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google、イーサネットをさらに高速にするハードウェア支援型の新トランスポート技術「Falcon」を公開
Building Meta’s GenAI Infrastructure
Metaが大規模言語モデルをトレーニングする上でどこに注意したのか＆どのように取り組んだのかを解説
第782回 MellanoxのOFEDドライバーをセキュアブートが有効化されたUbuntuにインストールする | gihyo.jp
同じSSDでもなぜ「NVMe」接続はSASやSATAとは“別物”なのか？
#51 “Empowering Azure Storage with RDMA”
AzureのGPU搭載VMを安い順に並べる（2023年9月版）｜さいぴ
郊外型データセンタ活用・省電力リアルタイムAI分析技術を実証～IOWN技術の活用によりリモート拠点上でのAI分析の遅延と消費電力を大幅に削減～ | ニュースリリース | NTT