タイトルでほぼほぼ出オチですが、先日、NVIDIAからCUDA Toolkit 11.4と共にリリースされた新機能GPUDirect Storage 1.0のドキュメントを読んでいると、面白い記述を見つけた。 曰く、MOFEDドライバ5.3以降と、Mellanox Connect-X4/5の組み合わせで、NFS-over-RDMAとGPUDirect Storageを組み合わせ、リモートのNFS区画からローカルのGPUへと直接のデータ転送を行う事ができるようになる、と。 14.10. NFS Support with GPUDirect Storage This section provides information about NFS support with GDS. 14.10.2. Install GPUDirect Storage Support for the NFS Cli
お使いのブラウザーは対応していません。 お使いのウェブブラウザーはこのウェブサイトでは対応していません。いくつかの機能が正常に動作しない可能性がございます。アップグレートいただくか下記のブラウザーのどれかをインストールください。よろしくおねがいします。 世界最大級のスーパーコンピューターやデータセンターを加速するネットワーク技術が今年トップクラスの合併を生み、AI の進化に拍車をかける 高速ネットワークを実現する優れたアイデアでありながらも人目につかなかったリモート ダイレクト メモリ アクセス (RDMA) が、世界最速のスーパーコンピューターのジェット燃料へと上り詰めるまでには、2 つの偶然の出会いがありました。 それらの幸運の始まりは、RDMA ベースのネットワークである InfiniBand に社運をかけていたイスラエル拠点のスタートアップに訪れた運命的な縁でした。後に、そのスター
KubernetesクラスタにおけるGPU-NIC割り当ての改善によるRDMAの高速化 - Preferred Networks Research & Development
本投稿はPFN2022 夏季国内インターンシップに参加された松岡航さんによる寄稿です。 はじめに PFN2022年度夏季インターンシップに参加した法政大学情報科学部ディジタルメディア学科3年の松岡航です。大学では学内のサーバ管理をしています。ネットワークやコンテナ技術に興味があり、今回Cluster ServicesチームというPFNの機械学習基盤を開発・運用するチームのインターンシップに参加しました。 背景 良い深層学習モデルを実現するには、モデルの構造や適切な学習率などを変更した多くの試行を行うことが重要です。1回の学習を高速に完了させることで、効率よくこの探索を行うことができます。高速化の方法の1つとして、複数のプロセスを使って学習することで学習を高速化する分散深層学習という手法があります。例えばデータ並列な分散深層学習では、複数のプロセスにデータを分散させて処理することで、一度に多
NSDI '23 - https://www.usenix.org/conference/nsdi23/presentation/bai - https://www.microsoft.com/en-us/research/publication/empowering-azure-storage-w…
Mellanoxドライバのインストール事前に、RDMAに対応した Mellanox ドライバである OFED をインストールしておく必要があります。 ドライバは公式サイトからダウンロードできます。 # tar -xzvf MLNX_OFED_LINUX-5.6-2.0.9.0-ubuntu22.04-x86_64.tgz # cd MLNX_OFED_LINUX-5.6-2.0.9.0-ubuntu22.04-x86_64 # ./mlnxofedinstall --with-nvmf # /etc/init.d/openibd restart インストール完了後、念のために initramfs を更新しておきます。 しなかった場合、この後に行うカーネルモジュールの読み込みでエラーになる場合があります。 # update-initramfs -u # reboot RoCEv2サポートの確
1. はじめに 2. 準備 インストール 動作確認 3. ライブラリ libibverbs librdmacm 4. プログラミング例 基本編 簡略編 上級編 5. おわりに 執筆者 : 小田 逸郎 1. はじめに 筆者が最初にInfiniBandやRDMAに触れたのは、もう20年近く昔の話になります。 それから、ブレークすることもなく、さりとて死に絶えることもなく、ひっそりと 生き続けてきました。最近また、ちょくちょく耳にするようになった気がします。 InfiniBand大手のMellanoxをNVIDIAが買収したというような話題もありました。 この20年程の間に、RDMAを使用する環境も手軽に用意できるようになりました。 なんと、普通のLinuxディストリビューションで普通に使えてしまいます。 とは言え、実際にRDMAで通信するプログラムを書こうとすると、まだ あまり情報がない気がし
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPUDirect SQL on NFS-over-RDMAを試す - KaiGaiの俺メモ
RDMA はいかにして高速ネットワークを加速するようになったのか | NVIDIA
#51 “Empowering Azure Storage with RDMA”
NVMeとConnectX-4で始めるNVMe over RDMA (RoCEv2)入門
RDMAプログラミング入門 - VA Linux エンジニアブログ