先日、あるIT関係の集まりで、大手ネットワーク機器ベンダの偉い人がこんな話をしてくれました「最新のイーサネットは、サーバの内部バス並のスピードで通信ができる。これはすごいことだよね」と。 いま市場では10ギガビットーサネットが普及し始めているところですが、すでにその次の世代のイーサネットとして40ギガビットイーサネットと100ギガビットーサネットも昨年、IEEEによって標準化されており、まだ非常に高価ですが製品が登場し始めています。 その話を聞く少し前、僕は別の大手システムベンダの偉い人のこんな話を聞いていました。「これから2年もしないうちにサーバの形が大きく変わっていく。すごく面白くなるはずだ」と。 この2つの話はつながっているように思えました。 サーバは液体のように流動的で論理的な存在に クラスタを構成するネットワークが内部バス並みに高速になれば、あるサーバの負荷が高まってきたときには
redhat.com | Welcome to the Red Hat Enterprise Linux 6 Beta
Image mode for Red Hat Enterprise Linux A new deployment method that harnesses the power of containers to bring all aspects of IT management into a single workflow. It’s portable, scalable, and AI-ready Linux at your fingertips. Available now as a technology preview.
はじめに この記事は Fujitsu Advent Calendar 2021 25日目の記事です。（記事は個人の見解であり、組織を代表するものではありません。） さて、今年もこれまでと同じく不揮発メモリの記事を書きます。今回は以下の内容です。 不揮発メモリ周りの規格・新仕様(CXL, RDMA) メモリ不足時の不揮発メモリの活用 Filesystem-DAXの動向 不揮発メモリ周りの規格・新仕様 今年は規格回りでいくつか新仕様が策定されています。まずは、それらについてざっくりと解説していきましょう。 CXLの不揮発メモリ対応 これまではNVDIMM、すなわちDRAMと同じようにCPU中のメモリコントローラからDDR4で直接つながるデバイスであった不揮発メモリですが、ここへきて新たな接続方法が追加されようとしています。それがCompute Express Link(CXL)です。 コンピュ
提案書 従来⇒変更
Google 画像検索 ウェブ上の画像を縦横無尽に検索
IBM Db2は、低遅延のトランザクションと大規模なリアルタイム分析を強化するために構築された、クラウドネイティブのデータベースです。データ・セキュリティー、拡張性、可用性における数十年にわたるイノベーションに基づいて構築されており、場所を問わず、Db2を用いて、アプリケーションと分析を保護し、高いパフォーマンスと回復力を維持します。 DBA、エンタープライズ・アーキテクト、開発者が使う単一のエンジンとして、次の機能を提供します。 クリティカルなアプリケーションを実行する。データを保存してクエリする。意思決定を迅速にする。組織全体でイノベーションを推進する。 ホワイト・ペーパー アプリケーション、分析、生成AIの適切なデータベース活用方法に関するデータ・リーダー向けガイド AIのためのデータ・ガイドはこちら
漢なら RDMA でデータ送りたいですね! とりあえず手っ取り早く rsocket http://syoyo.wordpress.com/2012/12/06/rsocket-new-way-of-rdma-aware-programming/ を使い, 既存の python スクリプトで高速転送を実現してみましょう. 構成 Server と Client は InfiniBand QDR と, 1 GbE で物理的に繋がっています. InfiniBand のレイヤは IPoIB で繋がっているものとします. テストスクリプト Client から 1GB のデータを送り, Server 側はそれを受け取るだけというスクリプトです(単方向データ通信). # server.py import socket import itertools HOST = '' PORT = 8081 s = s
タイトルでほぼほぼ出オチですが、先日、NVIDIAからCUDA Toolkit 11.4と共にリリースされた新機能GPUDirect Storage 1.0のドキュメントを読んでいると、面白い記述を見つけた。 曰く、MOFEDドライバ5.3以降と、Mellanox Connect-X4/5の組み合わせで、NFS-over-RDMAとGPUDirect Storageを組み合わせ、リモートのNFS区画からローカルのGPUへと直接のデータ転送を行う事ができるようになる、と。 14.10. NFS Support with GPUDirect Storage This section provides information about NFS support with GDS. 14.10.2. Install GPUDirect Storage Support for the NFS Cli
この記事は、Fujitsu Advent Calendar 2022の25日目の記事です。 「え、まだこのネタで書くの？」と思う方もいらっしゃるかもしれませんが、ええ、今年もこのネタで書きます。 1. NVDIMMの終焉とCXLの台頭 1.1 Intel Optane Persistent Memory これを読む皆さんはおそらくご承知のことでしょう。NVDIMMの最有力製品であったIntel Optane Persisntent Memoryのビジネスは、残念ながら終焉に向かうことが以下のように発表されました。 In Q2 2022, we initiated the winding down of our Intel Optane memory business. 実は発表と同時にすぐに製品出荷を終了してしまったわけではありません。以下の記事から少し引用します。 既存のOptane永続
米RNA Networksは、米デルが同社を買収したとWebサイト上で発表しました。 RNA Networksは、ネットワークで接続された複数のサーバのメモリをたばねて、単一の巨大な「メモリクラウド」を構築するソフトウェア「MVX」を提供するベンチャー企業です。 このメモリクラウドは仮想サーバあるいは物理サーバの大容量メモリとして利用可能で、それ以外にもI/Oキャッシュや高速ストレージとしても利用可能だと説明されています。 既存のアプリケーションはそのまま変更する必要なく、サーバ間の接続に使うネットワークの種類にも制約はないそうです（もちろん性能はネットワークの性能に左右されます）。 いままでCPUからアクセスできるメモリは、通常は同じ筐体内のメモリ（もしくは仮想メモリ）に限られていましたが、メモリクラウドはその名の通り、その範囲をクラウド全体に広げる技術です。 垂直統合をせずに、いかにシ
Remote Direct Memory Access（RDMA、リモートDMA）とは、ローカルのコンピュータのメモリから、異なるリモートのコンピュータのメモリへデータのDMA転送を行うことである。RDMAでは、両コンピュータのオペレーティングシステムを経由せずにデータの転送が行われる。これにより、高スループット、低レイテンシの通信を行うことができる。特に、大規模並列のコンピュータ・クラスターにおいて有用である。 概要[編集] RDMAでは、ホストバスアダプタを通じてアプリケーションメモリ（ユーザーメモリ空間）のデータが直接転送される。これによりゼロコピー（英語版）ネットワーキングが可能になる。通常行われるメモリとOSのデータバッファ間でのデータ転送が起きないので、CPUやキャッシュを用いることなく、あるいはコンテキストスイッチを行うこともなく、他の処理と並列にデータが転送できる。リード/
RDMA - sdyuki-devel
Wikipedia RDMA：リモートホストのメモリにCPUを介さず直接値を書きこむ。CPUへの負荷が非常に小さく、かつ極めて小さい遅延で通信できることが期待できる。 速いのは良いことであるのはもちろんだが、ネットワーク通信の遅延は非常に大きいという前提が崩れることで、従来では考えられなかった分散プログラミングモデルが現実的になってくるかもしれない。 元々はHPC向けで物理層にはInfiniBandを使うことを想定していたようだが、探してみるとTCP/IPでRDMAをサポートしたNICが思わず買ってしまいそうなお値段で手に入る。 NTT-X Store NetXtreme II 1000 Express デュアルポート Ethernet アダプター ぷらっとオンライン IBM NetXtreme II 1000 Express イーサネットアダプタ (39Y6066) Broadcom N
Recommended Network Configuration Examples for ... | Mellanox Interconnect Community
Nvidia Bright Cluster Manager Community forum for NVIDIA Bright Cluster Manager, to include questions from Easy-8 users. Please take advantage of the free online training (https://training.brightcomputing.com/) and documentation (https://support.brightcomputing.com/manuals) Cumulus Linux Cumulus Linux is the first full-featured Linux operating system for the networking industry. BlueField Software
SSDのリモートDMAを実現する「NVMe Over Fabrics」：福田昭のストレージ通信（22） SSDインタフェースの現在（4）（1/2 ページ） 今回は、リモートアクセスが可能なネットワークを経由してNVMeのホスト／デバイスを接続するための規格「NVMe Over Fabrics」を解説したい。 ネットワーク接続されたSSDにアクセスする 前回に続き、「フラッシュメモリサミット（FMS：Flash Memory Summit）」から、SSD（Solid State Drive）インタフェースの最新動向に関する講演の概要をご報告する。講演者は、IntelでDirector of Technology InitiativeをつとめるJim Pappas氏。講演のタイトルは「Annual Update on Interfaces」である。 本シリーズ（SSDインタフェースの現在）の前
リモートダイレクトメモリアクセス(Remote Direct Memory Access : RDMA)の紹介 - Blog
#本記事は、下記ブログの日本語訳（＋一部補足）版を原文筆者Dotan Barak*1の了解を得て掲載しています。 Introduction to Remote Direct Memory Access (RDMA) - RDMAmojo 目次 RDMAとは？ RDMAの利点 RDMAをサポートするネットワークプロトコル RDMAを使うために複数のプログラムAPIを学ぶ必要がある？ RDMAをサポートするネットワークプロトコル相互の互換性は？ RDMAを使うには？（特別なパッケージをダウンロード？ OS付属？ ） 1.RDMAとは？ ダイレクトメモリアクセス(Direct Memory Access (DMA))は、CPUが介在することなく、ホストメモリへ直接アクセスを行うデバイスの機能である。 RDMA (Remote DMA)は、CPUが関与することなくネットワーク越しにリモート計算機上
AI/ML基盤の400G DCネットワークを構築した話 - JANOG52 Meeting in Nagasaki
JANOGプログラム内田 泰広(株式会社サイバーエージェント) 小障子 尚太朗(株式会社サイバーエージェント) |10:15|10:45 English information here 概要 サイバーエージェントではCycloudという社内向けのプライベートクラウドを構築・運用しています。 ML Platformとして独自の機械学習基盤を提供しており、今回初めてGPU間を高速接続するためのロスレス・低遅延な400Gインターコネクトを構築しました。 本発表では、国内外で事例の少ない400G DCネットワークを導入するにあたって工夫したことと苦労したことを共有し、 これからのネットワークとコンピューティングに求められる技術や課題などについて議論できればと思っています。 場所 2F コンベンションホール 日時 Day3 2023年7月7日(金) 10:15～10:45(30分) 発表者
OpenFabrics Alliance – Innovation in High Speed Fabrics
Fabric Software Development Platform (FSDP) Educational Webinar Series: Videos Now Available OpenFabrics Alliance (OFA) mission is to accelerate the development and adoption of advanced fabrics for the benefit of the advanced networks ecosystem, which is accomplished by; creating opportunities for collaboration among those who develop and deploy such fabrics, incubating and evolving vendor indepen
英国のIT専門媒体、「The Register」とも提携し、エンタープライズITのグローバルトレンドを先取りしている「The Next Platform」から、＠IT編集部が独自の視点で“読むべき記事”をピックアップ。プラットフォーム3へのシフトが急速に進む今、IT担当者は何を見据え、何を考えるべきか、バリエーション豊かな記事を通じて、目指すべきゴールを考えるための指標を提供していきます。 データベースやデータストア、その上で動くアプリケーションがインメモリ処理に対応するケースが増えている。だが、1台の大規模NUMAサーバでメモリ容量が足りなくなる場合や、クラスタの小規模ノード間でのレイテンシが大きいために、パフォーマンスが及第点に届かない場合もある。 例えば、Hewlett Packard Enterprise（HPE）のNUMAアーキテクチャ対応サーバである「HPE Integrity
(Microsoft PowerPoint - 20101117-IBDAY02-itoh-1.0.ppt [\214\335\212\267\203\202\201[\203h])
プログラマ目線から見たRDMAのメリットと その応用例について InfiniBand & Manycore Day ２０１０年１１月１７日 株式会社ＮＴＴデータ 技術開発本部 伊藤雅典 ＩＮＤＥＸ 00 自己紹介 01 概要とInfiniBand & Manycore Day における位置づけ 02 InfiniBandの「機能」概要 03 RDMA技術のメリット Copyright © 2010 NTT DATA CORPORATION 1 03 RDMA技術のメリット 04 RDMAの応用例（1）：SDP 05 InfiniBandの応用例（1）：vSMP 06 今後の予定（？） 07 まとめ 00 自己紹介 氏名 伊藤 雅典 (いとう まさのり) 所属 株式会社NTTデータ 技術開発本部 ITアーキテクチャ＆セキュリティ技術センタ 担当業務 NTTデータの総合クラウドサービス Biz
Microsoft Winsock Direct テクノロジ 高畑 泰祐，廣安 知之，三木 光範 ISDL Report No.20060811007 2006年9月27日 Abstract Microsoft Windows Compute Cluster Server 2003には，Microfostが独自に実装したMPICH2と互換性を持ったMPIライブラリであるMS-MPIが含まれている． これにはWinsock Directと呼ばれる技術が使用されており，ネットワークの効率的利用のためRDMA (Remote Direct Memory Access)に対応している． これはRDMA対応NICを装備している場合に有効になり，ネットワークを介して直接メインメモリ上のデータを転送可能にする技術である． 1 はじめに 同志社大学は2006年4月1日に発足した“Windows HPCコン
Linux環境におけるRDMAの現状
Linux環境におけるRDMAの現状 高畑 泰祐，廣安 知之，三木 光範 ISDL Report No.20060811008 2006年11月1日 Abstract ISDL Report No.20060811007ではRDMA (Remote Direct Memory Access) 技術の概要について触れ，Windows CCSでの利用について述べた． 本報告ではLinux OSでのRDMA対応について調査した．高速ネットワーク技術であるInfiniBandを用いたものでは対応が見られるが，Ethernetを利用したものや標準APIといったところではまだまだ開発段階である． 1 はじめに Windows OSでのRDMA (Remote Direct Memory Access) 対応については，ISDL Report No.20060811007での報告の通り，Winsock
Windows Server 2016 で RDMA / RoCE を利用する - (1) RoCE は v2 へ - 仮想化でプリセールスしてるSEの一日
SR-IOV (1) (2) (3) (4) RDMA - InfiniBand (1) RDMA - RoCE (1) (2) SMB Multichannel (1) (2) (3) Switch Embedded Teaming (0) (1) (2) Windows Server 2016 には流行りのハイパーコンバージド (HCI) 機能 「Storage Spaces Direct（S2D）」が標準で備わっています。 VMware でいう vSAN みたいなもので、vSAN 同様に SSD が必須であったり 10G Ethernet が強く推奨されているのですが、S2D には vSAN には無いハードウェア連携技術として、HPC などで活用されている RDMA（リモート・ダイレクトメモリアクセス）の利用も 強く推奨 され、爆速な I/O を叩き出すといったことが可能とされていま
ページが見つかりません | 日本HP
ページが見つかりません。 目的のページは、移動または削除によって無効になっている可能性があります。申し訳ありませんが、検索またはリンク先よりお探しください。
お使いのブラウザーは対応していません。 お使いのウェブブラウザーはこのウェブサイトでは対応していません。いくつかの機能が正常に動作しない可能性がございます。アップグレートいただくか下記のブラウザーのどれかをインストールください。よろしくおねがいします。 世界最大級のスーパーコンピューターやデータセンターを加速するネットワーク技術が今年トップクラスの合併を生み、AI の進化に拍車をかける 高速ネットワークを実現する優れたアイデアでありながらも人目につかなかったリモート ダイレクト メモリ アクセス (RDMA) が、世界最速のスーパーコンピューターのジェット燃料へと上り詰めるまでには、2 つの偶然の出会いがありました。 それらの幸運の始まりは、RDMA ベースのネットワークである InfiniBand に社運をかけていたイスラエル拠点のスタートアップに訪れた運命的な縁でした。後に、そのスター
ページが見つかりません | 日本HP
ページが見つかりません。 目的のページは、移動または削除によって無効になっている可能性があります。申し訳ありませんが、検索またはリンク先よりお探しください。
2010/11/17に開催された InfiniBand Day 02 でオンライン講演した際の資料です。 システムソフトウェアの開発者の観点から見た、RDMA機能のメリットと応用についてまとめています。 VIOPSのHPからリンクされているものと同じものです。
「アプリケーションアクセラレーター」か「NVMe＋RDMA」か PCIeフラッシュストレージ技術の最前線
「アプリケーションアクセラレーター」か「NVMe＋RDMA」か PCIeフラッシュストレージ技術の最前線：データベース高速化のいま（4）（1/2 ページ） PCIe型フラッシュストレージも大容量化が進み、価格がこなれてきた。標準プロトコルか独自ドライバーか、実績か先進機能かと、選択肢が増えてきた魅力的なデバイスといえるだろう。新「Arrowhead」採用のハイエンドデータベースサーバーでの適用も。
NSDI '23 - https://www.usenix.org/conference/nsdi23/presentation/bai - https://www.microsoft.com/en-us/research/publication/empowering-azure-storage-with-rdma/
NOWLAB :: Home
Overview Welcome to the Network-Based Computing (NBC) Laboratory at the Computer Science and Engineering Department! Many state-of-the-art and exciting research projects are being carried out by various members of the group, including: High Performance MPI on Infiniband Cluster High Performance Runtime for PGAS Models (OpenSHMEM, UPC and CAF) Programming model support for GPU and Accelerators Netw
この記事はFujitsu Advent Calendar 2020 24日目の記事です。（記事は個人の見解であり、組織を代表するものではありません。） はじめに 毎年恒例になったAdevent CalendarでのLinuxの不揮発メモリ対応の動向について、今年も記述しようと思います。 正直言うと、今年は不揮発メモリとは別のネタを書くことも考えました。不揮発メモリのLinuxの動向については、今年はすでにOpen Source Summit Japan 2020 (以後OSSJ)でも話してしまっていて、スライドも公開したので、その内容が今年の全てです。なので、改めてAdvent Calendarで話す必要があるのかどうかいささか迷いました。 また、5月に公開した「メインフレームの異常処理」の記事が結構評判がよかった一方で、Linuxの異常処理について知らない人が多そうだったので、それについ
第13章 InfiniBand および RDMA ネットワークの設定 Red Hat Enterprise Linux 7 | Red Hat Customer Portal
ネットワークガイド I. 作業開始前の準備 Expand section "I. 作業開始前の準備" Collapse section "I. 作業開始前の準備" 1. ネットワークトピックの概要 Expand section "1. ネットワークトピックの概要" Collapse section "1. ネットワークトピックの概要" 1.1. IP ネットワークと非 IP ネットワークの比較 1.2. 静的 IP アドレス指定と動的 IP アドレス指定の比較 1.3. DHCP クライアントの動作の設定 Expand section "1.3. DHCP クライアントの動作の設定" Collapse section "1.3. DHCP クライアントの動作の設定" 1.3.1. DHCPv4 の永続化 1.4. ワイヤレス規制ドメインの設定 1.5. netconsoleの設定 1.6.
ページが見つかりません | 日本HP
ページが見つかりません。 目的のページは、移動または削除によって無効になっている可能性があります。申し訳ありませんが、検索またはリンク先よりお探しください。
InfiniBandについて InfiniBandでは、HCAの搭載されたホストをInfiniBandスイッチを経由して相互に接続させ、ファブリックを構成します。構成したファブリック内でサブネットマネージャを動作させると自動的にサブネットが形成され、各HCAにLIDが割り当てられてInfiniBandスイッチにフォワーディングテーブルが作られます。これにより、サブネット内でのLIDルーティングによる非常に遅延の小さな通信が可能になります。 概要 広帯域 ロードマップ SDR - 1レーン2.5Gbps DDR - 1レーン5Gbps, 2006年提供開始 QDR - 1レーン10Gbps, 2009年提供開始 EDR(1レーン20Gbps) HDR(1レーン40Gbps)へと進化する予定です。 レーンを1X, 4X, 8X, 12Xと束ねて使うことができ、一般的に4X接続がHCA(ホストチ
DAT Collaborative
datWelcome to the DAT Collaborative The DAT Collaborative is an industry group that was created to define and submit for standardization a set of transport-independent, platform-independent Application Programming Interfaces that exploit the RDMA (remote direct memory access) capabilities of next-generation interconnect technologies such as InfiniBand, and iWARP. Standard RDMA-capable interconnec
HPC ネットワーキング：ネットワーク スーパーコンピュータの基礎 - エンタープライズ データセンター - Cisco Systems
ホワイトペーパー HPC ネットワーキング：ネットワーク スーパーコンピュータの基礎 「クラスタ」という用語は、2 台以上のコンピュータの共同作業によりアプリケーションのパフォーマンスやアベイラビリティを向上させるコンピュータ システムを示します。ハイパフォーマンス コンピューティング（HPC）は比較的新しい種類のクラスタであり、きわめて高い性能が要求されることが広く認識されている、多様なパフォーマンス依存型並列アプリケーションをサポートします。ここでは、利用可能なさまざまな種類のクラスタについて説明し、ネットワーク接続の観点から HPC クラスタを詳しく調べ、HPC クラスタの構築時にネットワーク テクノロジーの評価に必要となるさまざまな注意事項を示します。 概要 今日、多くの企業では、ハイパフォーマンス コンピューティング（HPC）クラスタを使用して、企業の収益や競争力に影響を
GPUDirect RDMA
Developing a Linux Kernel Module using GPUDirect RDMA The API reference guide for enabling GPUDirect RDMA connections to NVIDIA GPUs. 1. Overview GPUDirect RDMA is a technology introduced in Kepler-class GPUs and CUDA 5.0 that enables a direct path for data exchange between the GPU and a third-party peer device using standard features of PCI Express. Examples of third-party devices are: network i
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サーバはデータセンターの中を液体のように流れるような存在になる、という仮説
不揮発メモリに対するLinux周辺動向 (2021年版) - Qiita
Edge Components 概念、計画とインストール / WebSphere Application Server
Python で rsocket で通信が爆速でやばい. - Qiita
GPUDirect SQL on NFS-over-RDMAを試す - KaiGaiの俺メモ
2022年の不揮発メモリとLinux対応動向について - Qiita
複数サーバのメモリを単一の「メモリクラウド」化するRNA Networks。デルが買収した理由は？
Remote Direct Memory Access - Wikipedia
【InfiniBandの現在】RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」【ネット新技術】
SSDのリモートDMAを実現する「NVMe Over Fabrics」
シンプルな分散メモリプーリングをRDMAで実現する技術が面白い
Microsoft Winsock Direct テクノロジ
【InfiniBandの現在】HBAとMPIとの組み合わせで、低レイテンシーを安価に実現した「RDMA」【ネット新技術】
RDMA はいかにして高速ネットワークを加速するようになったのか | NVIDIA
プログラマ目線から見たRDMAのメリットと�その応用例について
#51 “Empowering Azure Storage with RDMA”
Linuxの不揮発メモリ(NVDIMM)対応について(2020年版) - Qiita
InfiniBand - InfiniBand.JP/Wiki