100万ppsを受信するプログラムを書くのはどのくらい難しいのか？【翻訳】CloudFlare ブログ | FAworksブログ
100万ppsを受信するプログラムを書くのはどのくらい難しいのか？【翻訳】CloudFlare ブログ 無料枠が充実していることでも人気なコンテンツデリバリネットワーク (CDN) を提供するCloudFlareは、最近1億1000万ドルの資金調達が発表され、ますます注目を集めている。そんなCloudFlareのブログから、ネットワークチューニングの知見を紹介したい。 原文：https://blog.cloudflare.com/how-to-receive-a-million-packets/ (2015-11-20) ※元記事の筆者には直接翻訳の許可を頂いて、翻訳・公開しております。 CC BY-SA 2.0 image by Bob McCaffrey 先週、何気ない会話の中で同僚がこう話すのをふと耳にした。「Linuxのネットワーク・スタックが遅いんだよ！1コアあたり5万pps以上
Lagopus SDN/OpenFlow switch: yet another SDN/OF switch agent and high-performance software switch
0 Copyright©2014 NTT corp. All Rights Reserved. 汎用x86サーバを用いた 高速なソフトウエアパケット処理技術 中島佳宏 This research is a part of the project for “Research and Development of Network Virtualization Technology” supported by the Ministry of Internal Affairs and Communications. 1 Copyright©2014 NTT corp. All Rights Reserved. 発表の概要 パケット処理の流れ 汎用x86サーバにおける高速化の難しさ 高速化技術 Lagopus 2 Copyright©2014 NTT corp. All Rights
Receive-Side Scalingについての調査メモ - syuu1228's blog
Kernel/VM Advent Calendar ４日目: Linuxのネットワークスタックのスケーラビリティについて - かーねる・う゛いえむにっきで書いたReceive-Side Scalingの記述が未だ理解が足りず不正確だと思ったので、調べ直してみてる所。 Multi-queueなNICってなに RPS提案のメールにこんな事が書いてある： This effectively emulates in software what a multi-queue NIC can provide, but is generic requiring no device support. 要約すると「multi-queue NICが提供している機能をソフトウェアエミュレートするのがRPS」 →じゃあmulti-queueなNICってどれで、どんな機能を提供してるんだろう？ それらしいNICを探して
8.4. 一般的なキュー/フレーム損失問題の解決 Red Hat Enterprise Linux 6 | Red Hat Customer Portal
パフォーマンスチューニングガイド 1. 概要 Expand section "1. 概要" Collapse section "1. 概要" 1.1. 本書を読むにあたって Expand section "1.1. 本書を読むにあたって" Collapse section "1.1. 本書を読むにあたって" 1.1.1. 対象読者 1.2. リリースの概要 Expand section "1.2. リリースの概要" Collapse section "1.2. リリースの概要" 1.2.1. Red Hat Enterprise Linux 6 における新機能 1.2.2. 水平方向のスケーラビリティ 1.2.3. 分散システム 2. Red Hat Enterprise Linux 6 のパフォーマンス機能 Expand section "2. Red Hat Enterprise Li
Ethernetの受信処理
2. rcu read lock receive_queue lock nf_hooks nf_iterate rcu read lock tcp_rcv_established tcp_v4_do_rcv nf_hook_slow nf_hook_thresh ___napi_schedule __napi_schedule e1000_intr handle_irq do_IRQ common_interrupt interrupt get_rps_cpu sock_queue_rcv_skb ip_queue_rcv_skb __udp_queue_rcv_skb udp_queue_rcv_skb __udp4_lib_rcv ip_local_deliver_finish NF_HOOK ip_defrag ip_rcv_finish NF_HOOK ip_rcv __netif
2012年、いよいよ来るか？SRIOV (Single Root I/O Virtualization) | シリコンバレーで働く現役プロダクトマネージャー、曽根原春樹のBlog
シリコンバレーで働く現役プロダクトマネージャー、曽根原春樹のBlog Who says "impossible"? Let's see how we can do it! 検索 メインメニュー 最近SRIOV (Single Root IO Virtualization)を触る機会があったので今日はその話。 最初に結論を言うとかなりちゃんとパフォーマンスがでるので仮想化環境でいけそうな気配だ。 今日は最初にそもそもSRIOVって何？て人もいると思うのでこの辺りから話を始めよう。 一言で言えばVirtual Machineのスループットと遅延を大幅改善するテクノロジー。 下の動画をまずは見ていただきたい。 要点を抽出すると、 - SRIOVのSingle Rootとは「1台のサーバーで 」という意味。 （Multi-Rootとなれば「複数台のサーバーで」となる。 ） - 通常の仮想化
How to achieve Gigabit speeds with Linux
1 Gbit/s network cards have been available for some time now and 10Gbit/s cards have recently become available. However achieving rates of the order of Gigabits per second is not straightforward. It requires careful tuning of several components in the end systems. This document aims to provide information of how to configure end systems to achieve Gbit/s data transfers. Before you begin with the c
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
同じサブネットに属するIPアドレスを持つ複数のNICを扱う方法 - moriyoshiの日記
(How to configure routing tables for multiple NICs assigned IP addresses on the same subnet) なんでそんなことしたかったかというと Amazon VPC を使っていて、複数の Elastic IP アドレスを 1 インスタンスに関連づけるため、複数の private IP addresses を 1 インスタンスに割り当てたかった。 しかし、1 つの ENI (Elastic Network Interface) に紐付けることのできる private IP addresses の数には制限があり、それがインスタンス毎に違う。 m1.small (1 ENI あたり 4 個)、を使うまでもない案件であり、t1.micro で 2 ENIs - 2 private addresses の合計 4 つで
Linux上でオレオレifconfigを作るには - syuu1228's blog
自分の書いているプログラムからNICの設定を直接弄りたくなった事はないだろうか？ プログラム内からifconfigコマンドに引数をつけて実行すれば簡単に実現できるが、それはあんまり格好良くないし、情報を取り出そうとするとifconfigコマンドの出力文字列をパースしたりしなければならなくなって格好悪い。 よりプログラムの書き方として正しいのは、ifconfigコマンドが叩いているAPIを自力で叩いてみる事だろう。 というわけで、ここではifconfigコマンドがNICを操作するために叩いているAPIを自力で叩いてNICの設定を変更してみようと思う。 まずは最も単純なプログラムとして、NICのリンクステータスをUP/DOWNするというのを試してみよう。 ソケットへのioctlによるNICリンクステータス変更 ifconfigコマンドで行われているNICリンクステータスの変更処理を最小限のコー
パケット転送を支える技術 海老澤健太郎＠パラレルス株式会社
S9 仮想化時代のパケットフォワーディング Internet Week 2011 パケット転送を支える技術 海老澤 健太郎 ＠ パラレルス株式会社 Twitter: @ebiken S9 仮想化時代のパケットフォワーディング Internet Week 2011 サーバーの物理構造 2 CPU0 CPU1 DIMM DIMM MEM DIMM DIMM MEM IOH (Chipset) PCIe device (NIC) PCIe device (NIC) PCI Express (PCIe) QPI S9 仮想化時代のパケットフォワーディング Internet Week 2011 パケットの流れ CPU0 CPU1 DIMM DIMM MEM DIMM DIMM MEM IOH (Chipset) PCIe device (NIC) PCIe device (NIC) INPUT OU
Software receive packet steering [LWN.net]
netdev@vger.kernel.org, David Miller <davem@davemloft.net> This patch implements software receive side packet steering (RPS). RPS distributes the load of received packet processing across multiple CPUs. Problem statement: Protocol processing done in the NAPI context for received packets is serialized per device queue and becomes a bottleneck under high packet load. This substantially limits pps th
複数NICでのデフォルトゲートウェイ設定方法 - maruko2 Note.
複数NICでのデフォルトゲートウェイ設定方法 提供：maruko2 Note. 移動： 案内, 検索 目次 1 Windows でのスタティックルート設定 1.1 ROUTE コマンド書式 1.2 Windowsでの手順 2 RHEL (CentOS) でのスタティックルート設定 2.1 Linuxでの手順 ネットワークカード（NIC）を複数搭載し、それぞれの NIC を別のネットワークに接続するような場合、通信が正常にできないことがある（不安定になる）。 図 のようなネットワークだと、PC から 192.168.1.0/24 と 192.168.2.0/24 への通信は問題なくできるが、ルーター（ゲートウェイ）を越えるような WAN や 10.0.0.0/24 への通信はできたりできなかったりする。 原因は、PC に複数のデフォルトゲートウェイを設定したとしても、ルーターを超える通信につ
CentOSにおいてマルチホーミングの設定
CentOSにおいてマルチホーミングの設定 複数のNICがある場合、適切にルーティングをしておかないと、たとえば外からpingを打ったとき、受け取ったNICから返さないと疎通が行われません。 マルチホーミングでは、この"受け取ったNICに返す"と、"負荷が小さいNICから返す"などいくつか方法がありますが、今回は前者の設定を行います。 書籍『Linux高信頼サーバ構築ガイド シングルサーバ編』に掲載されているまんまです。 ■I/F毎にルーティングを決めるテーブルを作るためのIDと名前をデータベース(ファイル)に記述する [root@gold ~]# vi /etc/iproute2/rt_tables # Intel Corporation 82573L Gigabit Ethernet Controller # # reserved values # 255 local 254 main
『CentOSにおける複数NICの設定』
１．最後に起動したNICに設定されていたGATEWAY以外は無効になる事象 →rp_filterな CentOSに複数NICをつけて、異なるセグメントのIPアドレスを設定して、ルータに接続する。 例えば、/etc/sysconfig/network-script/ifcfg-eth* 上で、下記のように、IPADRや、GATEWAYを設定した場合、 (1) eth0では、 ①IPアドレス ： 192.168.2.99/24 ②ゲートウエイ： 192.168.2.1 (2) eth1では、 ①IPアドレス ： 10.0.0.99/8 ②ゲートウエイ： 10.0.0.1 この場合、CentOS5.6では、 (ア)別のPCからeth0とeth1の両方へのping成功。 ただし、帰りの経路は、eth1経由 (イ)# routeコマンドでは、デフォルトゲートウェイは、10.0.0.1のが記載され
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Home - DPDK
10GbE時代のネットワークI/O高速化
I/O仮想化最前線〜ネットワークI/Oを中心に〜
NIC (Network Interface Card) (Linktionary term)
Bottleneck-free networking in a virtualized data center | Datacenter Dynamics