AI/ML基盤の400G DCネットワークを構築した話 - JANOG52 Meeting in Nagasaki
JANOGプログラム内田 泰広(株式会社サイバーエージェント) 小障子 尚太朗(株式会社サイバーエージェント) |10:15|10:45 English information here 概要 サイバーエージェントではCycloudという社内向けのプライベートクラウドを構築・運用しています。 ML Platformとして独自の機械学習基盤を提供しており、今回初めてGPU間を高速接続するためのロスレス・低遅延な400Gインターコネクトを構築しました。 本発表では、国内外で事例の少ない400G DCネットワークを導入するにあたって工夫したことと苦労したことを共有し、 これからのネットワークとコンピューティングに求められる技術や課題などについて議論できればと思っています。 場所 2F コンベンションホール 日時 Day3 2023年7月7日(金) 10:15～10:45(30分) 発表者
Accelerating Your Network with Adaptive Routing for NVIDIA Spectrum Ethernet | NVIDIA Technical Blog
RoCE v2 メモ
RDMAをEthernet上で実現する仕組みであるRoCE v2についてマイクロソフト社内での運用 1 について調べてみた。 イントロ# RDMAというとInfinibandというイメージだったが、最近はiWARP、RoCEなども候補になる。 RoCEを略さずにいうと、Remote Direct Memory Access over Converged Ethernetとなる。 Remote Direct Memory Access とは、CPUを経由せずにリモートノードの主記憶を読み書きできる仕組みである。Converged Ethernet とはロスレスなEthernetであると理解した。 RoCEは2種類のバージョン v1 と v2 がある。v1はL2ヘッダの後ろにRDMAのペイロードが置かれる構造をしている。原理的にL2サブネット間でのRDMAを想定している。一方、v2はL4ヘッダ
PeerDirect ／ GPUDirectについての振り返り - サーヴァンツインターナショナル株式会社
弊社のブログ記事を改めて見直してみたところ、GPUDirect™に関する記事がありませんでしたので、旧Mellanox（現Nvidia Networking Business Unit）では、PeerDirectとして総称されていた、GPUDirect™ について改めて振り返ってみたいと思います。 同社における、GPUDirectの定義は、「メインメモリを一次的なストレージとして使用したり、データ移動にCPUを活用することなくPCIeデバイス間で直接データを転送するもの」でありました。この歴史は割と長く、2009年のNvidia社とメラノックスによる共同開発の発表より始まっています。また、「GPUDirect」自体は、Nvidia社の商標であり、同社では、GPUDirect の機能をWindows環境で活用したり、ビデオ転送に用いたりとしていますが、本記事内で触れるのは、旧Mellanox
Log In - NVIDIA Networking Docs
Log in Log in to Confluence Username Password Remember me Forgot your password? Čeština Dansk Deutsch Eesti English (UK) English (US) Español Français Íslenska Italiano Magyar Nederlands Norsk Polski Português Română Slovenčina Suomi Svenska Русский 中文 日本語 한국어 Powered by Atlassian Confluence 7.13.2 Printed by Atlassian Confluence 7.13.2 Report a bug Atlassian News Atlassian
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.microsoft.com/en-us/research/wp-content/uploads/2016/11/rdma_sigcomm2016.pdf
Dell EMC Isilon, PowerSwitch and NVIDIA DGX-2 Systems for Deep Learning
Log In - NVIDIA Networking Docs
CoverSheet
Benchmark Tests - NVIDIA GPUDirect RDMA - NVIDIA Networking Docs
http://www.redbooks.ibm.com/redpieces/pdfs/redp5610.pdf
RDMA like RoCE must support cuda10? · Issue #62 · bytedance/byteps
Log In - NVIDIA Networking Docs
Log In - NVIDIA Networking Docs
On the Impact of Cluster Configuration on RoCE Application Design
how to Deploy and Run a Horovod framework with Mellanox Network（ROCE and Lossless queue） · Issue #654 · horovod/horovod
RDMA Containers Update
GitHub - k8snetworkplumbingwg/sriov-network-device-plugin: SRIOV network device plugin for Kubernetes
https://www.mellanox.com/related-docs/whitepapers/WP_Kubernetes_Networking.pdf
HowTo Configure SR-IOV for ConnectX-4/ConnectX-5 with KVM (Ethernet)