サーバ間通信の有力な担い手 InfiniBandで変わるデータセンター内通信（前編） 松本直人 仮想化インフラストラクチャ・オペレーターズグループ チェア さくらインターネット研究所 上級研究員 2011/2/15 10年以上前から存在していた「InfiniBand」が、ここにきて、データセンターでのサーバ間通信を担う技術として急速に注目を集めるようになりました。その特徴と基本的な設定方法を紹介します。（編集部） 注目集めるInfiniBand InfiniBandは「インフィニバンド」と発音し、2000年に業界団体であるInfiniBand Trade Associationによって策定された規格です。スーパーコンピューティングなどHPC（High Performance Computing）分野で使われているサーバ間データ通信技術の1つです。 イーサネットによるLAN間接続と同様に、I
このページでは InfiniBand Verbs プログラムをはじめるのに必要な基本的な概念を説明する。 この文書の情報は RDMA_CM API を使ったプログラムをする場合にも有効だと思われる。 以下は関連ページ。 InfiniBand プログラムの覚え書きのインデックス 更新履歴 (2014.03.29) 作成。 (2014.04.04) 6.2 QP番号とマルチキャストと 8 章以降を追加 (2014.04.16) 12.3 Partition を追加 (2014.05.11) API にリンクを貼る 目次 1. イーサーネットを振り返ってみる 2. では InfiniBand Architecture は？ 3. InfiniBand Fabric 3.1 LID Routed Network 3.2 構成部品 3.3 Subnet Management 4. メモリモデル：ゼロ
InfiniBand - Wikipedia
レイテンシ[編集] レイテンシはSDR スイッチでは200ナノ秒、DDRスイッチでは140ナノ秒、QDRスイッチでは100ナノ秒程度である。エンド・ツー・エンドでは、Mellanox社のHCA (Host Channel Adapter) である ConnectX を用いた場合のMPIレイテンシで1.07マイクロ秒、Qlogic社の InfiniPath HTX を用いた1.29マイクロ秒、Mellanox社 InfiniHost IIIでは2.6マイクロ秒が観測されている。現在市場には多様な InfiniBand 用HCAがあり、製品によって特性は異なっている。 InfiniBand は RDMA（Remote Direct Memory Access）をサポートしており、CPU オーバヘッドを低く抑えることが可能である[2]。RDMA 命令のレイテンシは、1マイクロ秒以下である（Mel
6. InfiniBand の速度 • InfiniBand は全二重シリアル通信 – データレート • 基準に対して何倍速でデータを送受信するか? Single → Double → Quad → Fourteen → Enhanced – レーン数 • 何本の線を束ねて通信するか? 1本 → 4本 → 12本 → … データレート SDR レ ー ン 数 DDR QDR FDR EDR 1X 2.5 Gbit/s 5 Gbit/s 10 Gbit/s 14 Gbit/s 26 Gbit/s 4X 10 Gbit/s 20 Gbit/s 40 Gbit/s 56 Gbit/s 104 Gbit/s 12X 30 Gbit/s 60 Gbit/s 120 Gbit/s 168 Gbit/s 312 Gbit/s 現在普通に入手できるライン
構築からトラブルシューティングまで InfiniBandで変わるデータセンター内通信（後編） 松本直人 仮想化インフラストラクチャ・オペレーターズグループ チェア さくらインターネット研究所 上級研究員 2011/7/20 10年以上前から存在していた「InfiniBand」が、ここにきて、データセンターでのサーバ間通信を担う技術として急速に注目を集めるようになりました。その特徴と基本的な設定方法を紹介します。（編集部） 前編の記事を公開した後に、東日本大震災が発生しました。お亡くなりになられた方々やご遺族には心よりのお悔やみを、またすべての被災者の皆さまには心よりお見舞い申し上げます。そして、復旧に尽力されたすべての皆さまにお礼申し上げます。 56Gbpsも見えてきた、InfiniBandを巡る最新動向 現在普及しているInfinband規格がQDR 40Gbpsですが、その帯域を超える
Intel Takes Key Step in Accelerating High-Performance Computing with InfiniBand Acquisition InfiniBandは高性能なマシン間インターコネクト技術。一般に現在のデータセンターではマシン間の接続にイーサネットが用いられていますが、より高速なマシン間接続のニーズは高まり続けており、InfiniBandへの注目は高まっていました。 しかしこれまでInfiniBnad製品は主にハイパフォーマンスコンピューティング専用と考えられており、製品を提供するベンダも限られていたため、一般に広く用いられる環境は整っていません。 現在市場にInfiniBand製品を出荷している主なベンダは、メラノックス、QLogic、Voltaire、そしてオラクルの43社（Voltaireはメラノックスに買収されていました）。 そ
NVIDIA、Mellanoxの買収を正式に発表。InfinibandやHPC用スイッチなどデータセンター向け高性能ネットワーク技術を手中に
NVIDIA、Mellanoxの買収を正式に発表。InfinibandやHPC用スイッチなどデータセンター向け高性能ネットワーク技術を手中に 高速処理を実現する上で欠かせない高速ネットワーク技術を手に入れる NVIDIAはコンシューマ向けのGPUベンダとして知られていると同時に、GPUの高速な並列処理性能を活かしてHPCや機械学習、AIの分野でも存在感を高めています。 HPCや機械学習などの分野で高速なプロセッサの能力を最大限活用するためには、サーバ間を接続する高速なネットワークが欠かせません。Mellanoxはそうした高速ネットワークを実現する上で重要な要素となるInfinibandやインテリジェントNIC、HPC用スイッチなど高性能なネットワーク機器を提供する主要ベンダとして知られています。 買収を発表したNVIDIAのプレスリリースでも、Mellanoxの買収によってデータセンタース
2011/10/26 メラノックステクノロジーズジャパンは9月中旬に、56Gbps／秒のスループットが可能なInfiniBandの新規格FDRに対応すると同時に、10G／40Gイーサネットにも対応するネットワークアダプタ「ConnectX-3」シリーズ新製品と、こちらも2つのプロトコルに対応するスイッチ「SX」シリーズの評価用サンプルを出荷開始したと発表した。新アダプタはまた、コンピュータとのインターフェイスをPCI Express Gen 3.0に対応させることで、この部分がボトルネックになることを防いでいる。＠ITでは、米メラノックスのワールドワイド・セールス担当バイスプレジデントであるマーク・サルツバーグ（Marc Sultzbaugh）氏に同社の戦略を聞いた。 InfiniBandとイーサネット双方の通信が可能なアダプタとスイッチを提供していくのがメラノックスの方向性だ。すでにどち
カテゴリー DX (2) 一般 (59) 研究会 (6) 働き方 (4) 技術 (353) Edge AI (2) Edge Computing (13) Erlang (1) FIWARE (2) Fog Computing (10) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (6) RealTime Web (14) SRE (3) Webサービス (42) インフラ (8) コンテナ (4) ストレージ (93) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (215) 仮想化 (111) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティン
いろいろタイトルに偽りありだけど、InfiniBandを付け焼刃で勉強したアウトプット。Read less
日本オラクルは4月4日、記者向けに同社の仮想ネットワークへの取り組みについての説明会を行いました。 同社の仮想ネットワーク戦略の核となるのは、昨年買収したXsigoのInfiniBand製品。現在は「Oracle Fabric Interconeect」と呼ばれています。物理媒体としてInfiniBandを利用することで低レイテンシで広帯域なネットワークを構築しつつ、そこに仮想的なNICやイーサネットのネットワークを設定する仕組みが提供されるため、アプリケーションからは従来と同様にイーサネットを利用しているように透過的に見える、というもの。 Oracle Fabric InterconnectがInfiniBandの集約装置となり、ここにx86サーバからInfiniBandを接続します。物理的にはサーバから40ギガビットのInfiniBandが2本接続されている状態ですが、オラクル専用のド
Windows Server 2012 R2 のネットワークの注意事項 - InfiniBand - 仮想化でプリセールスしてるSEの一日
SR-IOV (1) (2) (3) (4) InfiniBand (1) SMB Multichannel (1) (2) (3) ここ半年くらい、いくつかのメディアや書籍で Windows Server 2012 R2 や Hyper-V の記事を書かせていただきました。 その中でも、Windows や Hyper-V 環境での「ネットワーク」の記事が特に好評いただいているようです。ありがとうございます。 Windows Server 2012 R2 時代の Hyper-V サーバ設計術 - ＠IT Windows Server 2012 R2 の NIC チーミング機能 (LBFO) をマスターする - ＠IT Windows Server 2012 R2 Hyper-Vシステム設計ガイド（日本マイクロソフト株式会社 高添修 ほか、インプレスジャパン） "教科書どおり" の内容なら
伊勢雅英のInfiniBand探検隊 － 【前編】InfiniBandっていったい何？
大手IT企業のサポートによって、華々しくデビューを飾った超高速インターフェイス規格「InfiniBand」。しかし、InfiniBandの最大かつ最強のサポーターだったIntelがInfiniBand用チップの市場から撤退することを発表し、それに追い打ちをかけるかのようにMicrosoftはWindows Server 2003でInfiniBandをネイティブサポートしないことを発表した。こうした理由から、メディア関係者の多くは、InfiniBandから次第に距離を置くようになった。 筆者は、そんなメディア関係者に不人気のテクノロジを追うのが趣味なのだが（笑）、最近InfiniBandについていろいろと調べてみたところ、実は地味ながらも着実に頑張っていることが分かった。だったら、もう一度InfiniBandに光を与えてやろうではないか。ということで、エンタープライズシステムの視点から見た
InfiniBand Trade Association booklet. RDMA in the Enterprise Data Center provides a fresh look at I/O in the data center. An opportunity for participants to measure their products for compliance with the IBTA specifications and includes both InfiniBand™ and RoCE interoperability testing.
Introduction to InfiniBand technology and its usage on Debian platform. Includes various examples of NAS/SAN over IB configuration (NFSoRDMA, SRP, and other standard IP and IPoIB based setups).Read less
今までRedHat系Linux + OFEDパッケージでInfinibandを使うことが多かったが、Ubuntu 12.04 + 基本パッケージでどこまでできるかやってみた。InfiniBand HCAはMellanoxのConnectX-3。カーネルは3.5.0-23-genericで、ドライバ類はカーネル標準の物を利用する*1。 結論から言えば、基本的に基本パッケージだけでInfinibandが動く環境を作ることができる。ただし、Ubuntu 12.04に含まれるlibmlx4パッケージはConnectX-3に対応していないので、ここだけは12.10のパッケージを持ってきてしのいだ*2。したがって、12.04でも新しめのHCAを使わない場合や、12.10では何の問題もなく動くだろう。 まず、/etc/modulesにとりあえず必要そうなモジュールを追加して、それぞれをmodprobeし
A First Look At VXLAN over Infiniband Network On Linux 3.7-rc7 & iproute2
2. VXLAN TESTING Overview 1) Linux bridge-based VXLAN is developing by Stephen Hemminger & et al. http://linux-network-plumber.blogspot.jp/2012/09/just-published-linux-kernel.html +config VXLAN + tristate "Virtual eXtensible Local Area Network (VXLAN)" + depends on EXPERIMENTAL + ---help--- + This allows one to create vxlan virtual interfaces that provide + Layer 2 Networks over Layer 3 Networks.
Infiniband HOWTO
Guy Coates This document describes how to install and configure the OFED infiniband software on Debian. 1. Introduction 1.1 The latest version 1.2 What is OFED? 2. Installing the OFED Software 2.1 Installing prebuilt packages 2.2 Building packages from source 3. Install the kernel modules 3.1 Building new kernel modules 4. Setting up a basic infiniband network 4.1 Upgrade your Infiniband card and
OSC 2011 Tokyo/Fall 自宅SAN友の会 （Infinibandお試し編）
2. 島崎聡史（twitter: @smzksts） - 自宅SAN友の会 主宰 メーカー系研修ベンダーの講師 とある仮想化、クラウド、 - サーバ仮想化＆ストレージ研修を担当 - VMware Certified Instructor （VCI） シンクライアントベンダー - Xen, KVM, Solaris Containers のSE - プライベートクラウド（Eucalyptus） - XenServer - デスクトップ仮想化 - Cloudstack - XenDesktop, XenApp インフラ系流行りモノ担当 便利屋さん。 #jitakusan #osc11tk Page 2
漢なら Docker(LXC) で InfiniBand を動かしてみたいですね! 一応すでに LXC で動いている論文がありますので [1], Docker でも実現してみましょう. 手順 環境 ホスト側: CentOS 6.5 コンテナ側: CentOS 6.5 と仮定して作業を進めます. もしかしたら Ubuntu12.04 or higher でもほぼ同じ手順でできるかもしれません. ホスト OS で IB(InfiniBand)が問題なく動いているとします. Docker で centos6 イメージを取得して IB 周りのパッケージを入れます. $ sudo docker pull centos $ sudo docker run -i -t centos /bin/bash # yum update # yum install infiniband-diags # その他 I
100ギガに突入するInfiniBand
出典：日経コンピュータ 2012年12月20日号 pp.134-135 （記事は執筆時の情報に基づいており、現在では異なる場合があります） サーバー間をつなぐネットワーク「InfiniBand」が100ギガビット/秒をうかがうまでに高速化してきた。垂直統合型システムなどで採用が進み、利用シーンはより広がりそうだ。同じ帯域幅のInfiniBandを使っても、通信プロトコルの違いでスピードに差が出る。ハードとソフトを組み合わせて、最適化することで実効速度は上がる。 様々なハードやソフトをあらかじめ組み合わせた垂直統合型システム。サーバー間をつなぐネットワーク（インターコネクト）として、InfiniBandの利用が進んでいる。米オラクルの「Oracle Exadata Database Machine」や「Oracle Exalogic Elastic Cloud」は自社製のInfiniBand
メモ InfiniBand プログラム InfiniBand プログラムに必要な基本的な概念 ソフトスタックの位置づけ まず InfiniBand Verbs プログラムを作成してみよう QP ステートの遷移を理解する 各オペレーションを使ってみる 再送制御を理解する エラーハンドリングのモデルを理解する API リファレンス x86-64/Linux で動作するソフトウェアベースの InfiniBand ドライバ Pseudo InfiniBand HCA driver(pib) リンク 参考になるリンクをリストアップしておく。 InfiniBand Trade Association … Specification Download のページから仕様書が手に入る(フォームに入力が必要)。 以下は手に入る主な仕様書名。 InfiniBand Architecture Specificat
src FreeBSD with InfiniBand 高速なデータ通信を実現するための技術として、InfiniBandの活用が進んでいます。これまではそうした高速データ通信の用途では1GbEや10GbEのネットワークに注目が集まっていましたが、価格帯がそれほど変わらず、より高速な通信を実現できるInfiniBandが強い勢いで伸びています。 FreeBSD 10-CURRENTにはオープンソースで提供されているOFED（OpenFabrics Alliance）がマージされています。デフォルトでは無効になっていますが、OFEDを使用するための設定を追加してからユーザランドおよびカーネルを再構築すれば、InfiniBandを使用できるようになります。 まず、カーネルオプションとして次の設定を追加します（10-CURRENTでの設定です。指定方法はこれまでにも変更がありましたので、試す場合に
Presentation for "InfiniBand DAY 05" on May 25th, 2012. http://atnd.org/events/28040Read less
2. 背景 • Amazon EC2等、計算機ハードウェアそのものを仮 想化するIaaSの実用化が進展 – サーバ集約によるコスト削減 – 災害時（輪番停電時）に計算・データ処理をオフロード • HPCを意識したIaaS（HPCクラウド）の登場 – Amazon EC2 Cluster Compute/GPU Instances – Open Cirrus HPCオンデマンド 2 IaaS: Infrastructure as a Service 3. LINPACK実行効率の比較 0 10 20 30 40 50 60 70 80 90 100 0 50 100 150 200 250 300 350 400 450 500 InfiniBand Gigabit Ethernet 10 Gigabit Ethernet ※実行効率＝（ベンチマーク性能：Rmax）／（理論性能：
速報：Oracle+Sun統合製品第一弾はOLTPとDWHの両対応マシン、Xeon5500+Flashストレージ+InfiniBand
速報：Oracle+Sun統合製品第一弾はOLTPとDWHの両対応マシン、Xeon5500+Flashストレージ+InfiniBand 米オラクルは、同社とサン・マイクロシステムズの製品を統合した最初の製品、「Oracle Exadata Database Machine Version 2」（以下Exadata V2）を発表しました。 発表は同社CEOのラリー・エリソン氏が行い、Exadata V2の特徴を次のように紹介しています。「Exadata V1はデータウェアハウス処理のためのシステムだったが、Exadata V2はデータウェアハウスとOLTPの両方のためのシステムだ」。
大手IT企業のサポートによって、華々しくデビューを飾った超高速インターフェイス規格「InfiniBand」。しかし、InfiniBandの最大かつ最強のサポーターだったIntelがInfiniBand用チップの市場から撤退することを発表し、それに追い打ちをかけるかのようにMicrosoftはWindows Server 2003でInfiniBandをネイティブサポートしないことを発表した。こうした理由から、メディア関係者の多くは、InfiniBandから次第に距離を置くようになった。 筆者は、そんなメディア関係者に不人気のテクノロジを追うのが趣味なのだが（笑）、最近InfiniBandについていろいろと調べてみたところ、実は地味ながらも着実に頑張っていることが分かった。だったら、もう一度InfiniBandに光を与えてやろうではないか。ということで、エンタープライズシステムの視点から見た
InfiniBand.JPは、InfiniBandと超高速インターコネクトアプリケーションに関する情報を日本語で蓄積・整理・公開するためのサイトです。TCBテクノロジーズにより運営されています。 Twitter でご質問を受け付けております！ 更新情報 2009/12/10 Twitterで質問受け付けを開始します。InfiniBandJPをフォローしてください。 2009/6/2 質問掲示板を開設しました。 2009/6/1 運営開始しました。 ニュース QLogic QDRスイッチ提供開始 記者・ユーザ募集 当サイトは広くInfiniBandおよび関連する技術一般を扱うコミュニティサイトです。記事を投稿していただける記者として活動していただける皆様、質問等を投稿されたいユーザの皆様を募集します。ご氏名・所属組織をご明記の上、こちらにメールでご応募ください。 アクセス制限について spa
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
InfiniBandで変わるデータセンター内通信（前編）（1/2） － ＠IT
InfiniBand プログラムに必要な基本的な概念
【InfiniBandの現在】発熱への対処が難しく2002年にIntelが開発中止、サーバー間接続の一本化は実現せず【ネット新技術】
InfiniBand Components
Windows Azure の中でも動いている InfiniBand って何?
InfiniBandで変わるデータセンター内通信（後編）（1/2） － ＠IT
インテルのInfiniBand再参入で、InfiniBandは普及期を迎えるか？
「5年後、イーサネットかInfiniBandかは問題でなくなる」 － ＠IT
Infinibandで変わるデータセンター内通信(1)
InfiniBandを中心としたデータセンタ内インタコネクトの動向
InfiniBand探検隊リターンズ【後編】～広帯域I/Oを必要とする仮想化やDB分野で強く期待されるInfiniBand
【InfiniBandの現在】低いコストとレイテンシーでHPC向けの分散型構成に活路を見出す【ネット新技術】
オラクルの仮想ネットワーク戦略は、InfiniBandの上に構築される
【InfiniBandの現在】売上から見るInfiniBand市場規模の推移、規格の急速な世代交代もポイント【ネット新技術】
【InfiniBandの現在】RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」【ネット新技術】
【InfiniBandの現在】汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは？【ネット新技術】
【InfiniBandの現在】InfiniBandで高性能を実現するMPIの仕様策定と、その実装「MPICH」【ネット新技術】
米Intel、1億2500万ドルで米QLogicのInfiniBand事業を取得
【InfiniBandの現在】PCIeの処理オーバーヘッドを36分の1に、IBM独自の「CAPI」から「OpenCAPI」へ【ネット新技術】
InfiniBand Trade Association
InfiniBand on Debian
メラノックス、100Gbps InfiniBand製品のサンプル出荷を開始
UbuntuでInfinibandクラスタを作る - Plan9日記
Docker コンテナで InfiniBand を動かす(性能も測定しました) - Qiita
InfiniBand プログラムの覚え書きのインデックス
2012年10月1日 FreeBSDでInfiniBand（IPoverIB）を使用する方法 | gihyo.jp
GlusterFSとInfiniBandの小話
InfiniBandをPCIパススルーで用いるHPC仮想化クラスタの性能評価
伊勢雅英のInfiniBand探検隊 − 【前編】InfiniBandっていったい何？
【InfiniBandの現在】HDRは好スタート、InfiniBandのこの先は？【ネット新技術】
FrontPage - InfiniBand.JP/Wiki