はじめに この記事は Fujitsu Advent Calendar 2021 25日目の記事です。（記事は個人の見解であり、組織を代表するものではありません。） さて、今年もこれまでと同じく不揮発メモリの記事を書きます。今回は以下の内容です。 不揮発メモリ周りの規格・新仕様(CXL, RDMA) メモリ不足時の不揮発メモリの活用 Filesystem-DAXの動向 不揮発メモリ周りの規格・新仕様 今年は規格回りでいくつか新仕様が策定されています。まずは、それらについてざっくりと解説していきましょう。 CXLの不揮発メモリ対応 これまではNVDIMM、すなわちDRAMと同じようにCPU中のメモリコントローラからDDR4で直接つながるデバイスであった不揮発メモリですが、ここへきて新たな接続方法が追加されようとしています。それがCompute Express Link(CXL)です。 コンピュ
タイトルでほぼほぼ出オチですが、先日、NVIDIAからCUDA Toolkit 11.4と共にリリースされた新機能GPUDirect Storage 1.0のドキュメントを読んでいると、面白い記述を見つけた。 曰く、MOFEDドライバ5.3以降と、Mellanox Connect-X4/5の組み合わせで、NFS-over-RDMAとGPUDirect Storageを組み合わせ、リモートのNFS区画からローカルのGPUへと直接のデータ転送を行う事ができるようになる、と。 14.10. NFS Support with GPUDirect Storage This section provides information about NFS support with GDS. 14.10.2. Install GPUDirect Storage Support for the NFS Cli
この記事は、Fujitsu Advent Calendar 2022の25日目の記事です。 「え、まだこのネタで書くの？」と思う方もいらっしゃるかもしれませんが、ええ、今年もこのネタで書きます。 1. NVDIMMの終焉とCXLの台頭 1.1 Intel Optane Persistent Memory これを読む皆さんはおそらくご承知のことでしょう。NVDIMMの最有力製品であったIntel Optane Persisntent Memoryのビジネスは、残念ながら終焉に向かうことが以下のように発表されました。 In Q2 2022, we initiated the winding down of our Intel Optane memory business. 実は発表と同時にすぐに製品出荷を終了してしまったわけではありません。以下の記事から少し引用します。 既存のOptane永続
AI/ML基盤の400G DCネットワークを構築した話 - JANOG52 Meeting in Nagasaki
JANOGプログラム内田 泰広(株式会社サイバーエージェント) 小障子 尚太朗(株式会社サイバーエージェント) |10:15|10:45 English information here 概要 サイバーエージェントではCycloudという社内向けのプライベートクラウドを構築・運用しています。 ML Platformとして独自の機械学習基盤を提供しており、今回初めてGPU間を高速接続するためのロスレス・低遅延な400Gインターコネクトを構築しました。 本発表では、国内外で事例の少ない400G DCネットワークを導入するにあたって工夫したことと苦労したことを共有し、 これからのネットワークとコンピューティングに求められる技術や課題などについて議論できればと思っています。 場所 2F コンベンションホール 日時 Day3 2023年7月7日(金) 10:15～10:45(30分) 発表者
お使いのブラウザーは対応していません。 お使いのウェブブラウザーはこのウェブサイトでは対応していません。いくつかの機能が正常に動作しない可能性がございます。アップグレートいただくか下記のブラウザーのどれかをインストールください。よろしくおねがいします。 世界最大級のスーパーコンピューターやデータセンターを加速するネットワーク技術が今年トップクラスの合併を生み、AI の進化に拍車をかける 高速ネットワークを実現する優れたアイデアでありながらも人目につかなかったリモート ダイレクト メモリ アクセス (RDMA) が、世界最速のスーパーコンピューターのジェット燃料へと上り詰めるまでには、2 つの偶然の出会いがありました。 それらの幸運の始まりは、RDMA ベースのネットワークである InfiniBand に社運をかけていたイスラエル拠点のスタートアップに訪れた運命的な縁でした。後に、そのスター
NSDI '23 - https://www.usenix.org/conference/nsdi23/presentation/bai - https://www.microsoft.com/en-us/research/publication/empowering-azure-storage-with-rdma/
この記事はFujitsu Advent Calendar 2020 24日目の記事です。（記事は個人の見解であり、組織を代表するものではありません。） はじめに 毎年恒例になったAdevent CalendarでのLinuxの不揮発メモリ対応の動向について、今年も記述しようと思います。 正直言うと、今年は不揮発メモリとは別のネタを書くことも考えました。不揮発メモリのLinuxの動向については、今年はすでにOpen Source Summit Japan 2020 (以後OSSJ)でも話してしまっていて、スライドも公開したので、その内容が今年の全てです。なので、改めてAdvent Calendarで話す必要があるのかどうかいささか迷いました。 また、5月に公開した「メインフレームの異常処理」の記事が結構評判がよかった一方で、Linuxの異常処理について知らない人が多そうだったので、それについ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
不揮発メモリに対するLinux周辺動向 (2021年版) - Qiita
GPUDirect SQL on NFS-over-RDMAを試す - KaiGaiの俺メモ
2022年の不揮発メモリとLinux対応動向について - Qiita
【InfiniBandの現在】RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」【ネット新技術】
【InfiniBandの現在】HBAとMPIとの組み合わせで、低レイテンシーを安価に実現した「RDMA」【ネット新技術】
RDMA はいかにして高速ネットワークを加速するようになったのか | NVIDIA
#51 “Empowering Azure Storage with RDMA”
Linuxの不揮発メモリ(NVDIMM)対応について(2020年版) - Qiita