AI/ML基盤の400G DCネットワークを構築した話 - JANOG52 Meeting in Nagasaki
JANOGプログラム内田 泰広(株式会社サイバーエージェント) 小障子 尚太朗(株式会社サイバーエージェント) |10:15|10:45 English information here 概要 サイバーエージェントではCycloudという社内向けのプライベートクラウドを構築・運用しています。 ML Platformとして独自の機械学習基盤を提供しており、今回初めてGPU間を高速接続するためのロスレス・低遅延な400Gインターコネクトを構築しました。 本発表では、国内外で事例の少ない400G DCネットワークを導入するにあたって工夫したことと苦労したことを共有し、 これからのネットワークとコンピューティングに求められる技術や課題などについて議論できればと思っています。 場所 2F コンベンションホール 日時 Day3 2023年7月7日(金) 10:15～10:45(30分) 発表者
GPUDirect_UM.book
Mellanox Technologies www.mellanox.com Mellanox GPUDirect RDMA User Manual Rev 1.5 Mellanox Technologies 350 Oakmead Parkway Suite 100 Sunnyvale , CA 94085 U.S.A. www.mellanox.com Tel: (408) 970-3400 Fax: (408) 970-3403 © Copyright 2017. Mellanox Technologies Ltd . All Rights Reserved . Mellanox®, Mellanox logo, Accelio®, BridgeX®, CloudX logo, CompustorX®, Connect-IB®, ConnectX®, CoolBox®, CORE-D
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Efficient RDMA Communication Protocols
#51 “Empowering Azure Storage with RDMA”
RFC 4296: The Architecture of Direct Data Placement (DDP) and Remote Direct Memory Access (RDMA) on Internet Protocols
First principles: Superclusters with RDMA—Ultra-high performance at massive scale
Scaling Remote direct memory access (RDMA) networks for AI Training
https://www.microsoft.com/en-us/research/uploads/prod/2023/03/RDMA_Experience_Paper_TR-1.pdf
https://www.microsoft.com/en-us/research/wp-content/uploads/2016/11/rdma_sigcomm2016.pdf
GitHub - linux-rdma/rdma-core: RDMA core userspace libraries and daemons
CoverSheet
http://www.redbooks.ibm.com/redpieces/pdfs/redp5610.pdf
GPUDirect question - cudaDeviceCanAccessPeer information
GitHub - Mellanox/nv_peer_memory
GitHub - hustcat/k8s-rdma-device-plugin: RDMA device plugin for Kubernetes
Add RDMA instructions to Dockerfile by alsrgv · Pull Request #1150 · horovod/horovod
RDMA Containers Update
https://www.mellanox.com/related-docs/whitepapers/WP_Kubernetes_Networking.pdf
Using RDMA on Container Service for Kubernetes
GitHub - Mellanox/k8s-rdma-sriov-dev-plugin: Kubernetes Rdma SRIOV device plugin