100万ppsを受信するプログラムを書くのはどのくらい難しいのか？【翻訳】CloudFlare ブログ | FAworksブログ
100万ppsを受信するプログラムを書くのはどのくらい難しいのか？【翻訳】CloudFlare ブログ 無料枠が充実していることでも人気なコンテンツデリバリネットワーク (CDN) を提供するCloudFlareは、最近1億1000万ドルの資金調達が発表され、ますます注目を集めている。そんなCloudFlareのブログから、ネットワークチューニングの知見を紹介したい。 原文：https://blog.cloudflare.com/how-to-receive-a-million-packets/ (2015-11-20) ※元記事の筆者には直接翻訳の許可を頂いて、翻訳・公開しております。 CC BY-SA 2.0 image by Bob McCaffrey 先週、何気ない会話の中で同僚がこう話すのをふと耳にした。「Linuxのネットワーク・スタックが遅いんだよ！1コアあたり5万pps以上
Linuxネットワークドライバの開発 - Handwriting
この記事はLinux Advent Calendar 2016 9日目の記事です。 遅刻してしまい申し訳ございません。。。 とある事情があって1ヶ月半ほど独自NICのLinux向けのネットワークドライバを開発していた。 今回はARM用のデバイスドライバを開発した。NICはXilinx社のFPGAであるZYBOを用いて開発した。 まだ十分に実用段階というわけではないが、ひとまず独自NIC経由でのpingやiperfが通ったので、後学のために知見を残しておきたい（誰得だ、という感じだが）。 ソースコードはまだ公開されていないが、そう遠くないうちに公開する予定（たぶん）。 はじめに Linuxのデバイスには キャラクタデバイス - バイト単位のデータ通信 (e.g. シリアルポート) ブロックデバイス - ブロック単位のデータ通信 (e.g. ディスク) ネットワークデバイス の3種類がある。ネ
How to achieve low latency with 10Gbps Ethernet
Good morning! In a recent blog post we explained how to tweak a simple UDP application to maximize throughput. This time we are going to optimize our UDP application for latency. Fighting with latency is a great excuse to discuss modern features of multiqueue NICs. Some of the techniques covered here are also discussed in the scaling.txt kernel document. CC BY-SA 2.0 image by Xiaojun Deng Our expe
Receive-Side Scalingについての調査メモ - syuu1228's blog
Kernel/VM Advent Calendar ４日目: Linuxのネットワークスタックのスケーラビリティについて - かーねる・う゛いえむにっきで書いたReceive-Side Scalingの記述が未だ理解が足りず不正確だと思ったので、調べ直してみてる所。 Multi-queueなNICってなに RPS提案のメールにこんな事が書いてある： This effectively emulates in software what a multi-queue NIC can provide, but is generic requiring no device support. 要約すると「multi-queue NICが提供している機能をソフトウェアエミュレートするのがRPS」 →じゃあmulti-queueなNICってどれで、どんな機能を提供してるんだろう？ それらしいNICを探して
Linux packet-forwarding
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
How to achieve Gigabit speeds with Linux
1 Gbit/s network cards have been available for some time now and 10Gbit/s cards have recently become available. However achieving rates of the order of Gigabits per second is not straightforward. It requires careful tuning of several components in the end systems. This document aims to provide information of how to configure end systems to achieve Gbit/s data transfers. Before you begin with the c
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
Queueing in the Linux Network Stack
[A slightly shorter and edited version of this article appeared in the July 2013 issue of Linux Journal. Thanks to Linux Journal’s great copyright policy I’m still allowed to post this on my site. Go here to subscribe to Linux Journal.] Packet queues are a core component of any network stack or device. They allow for asynchronous modules to communicate, increase performance and have the side affec
Linux上でオレオレifconfigを作るには - syuu1228's blog
自分の書いているプログラムからNICの設定を直接弄りたくなった事はないだろうか？ プログラム内からifconfigコマンドに引数をつけて実行すれば簡単に実現できるが、それはあんまり格好良くないし、情報を取り出そうとするとifconfigコマンドの出力文字列をパースしたりしなければならなくなって格好悪い。 よりプログラムの書き方として正しいのは、ifconfigコマンドが叩いているAPIを自力で叩いてみる事だろう。 というわけで、ここではifconfigコマンドがNICを操作するために叩いているAPIを自力で叩いてNICの設定を変更してみようと思う。 まずは最も単純なプログラムとして、NICのリンクステータスをUP/DOWNするというのを試してみよう。 ソケットへのioctlによるNICリンクステータス変更 ifconfigコマンドで行われているNICリンクステータスの変更処理を最小限のコー
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
1.1. UEKについて
2010年9月に、オラクル社は、Oracle Linux 5を使用したデプロイメントに推奨されるカーネルとしてOracle Linux用の新しいUnbreakable Enterprise Kernel (UEK)を公開しました。Oracle Linux 5.5以降から、Red Hat互換カーネルまたはUEKのいずれかを使用できるようになりました。Oracle Linux 5.6で、UEKはデフォルト・カーネルになりました。 UEK作成の主な動機は、ExadataおよびExalogicによってエンジニアリングされたシステム用の高性能な最新のLinuxカーネルを提供することでした。カーネルは、CPUの数、メモリーおよびインフィニバンド接続の増加に応じてスケーリングする必要がありました。 オラクル社では、負荷の高いOracleワークロードで集中的にUEKをテストしており、UEKをOracleデ
Software receive packet steering [LWN.net]
netdev@vger.kernel.org, David Miller <davem@davemloft.net> This patch implements software receive side packet steering (RPS). RPS distributes the load of received packet processing across multiple CPUs. Problem statement: Protocol processing done in the NAPI context for received packets is serialized per device queue and becomes a bottleneck under high packet load. This substantially limits pps th
複数NICでのデフォルトゲートウェイ設定方法 - maruko2 Note.
複数NICでのデフォルトゲートウェイ設定方法 提供：maruko2 Note. 移動： 案内, 検索 目次 1 Windows でのスタティックルート設定 1.1 ROUTE コマンド書式 1.2 Windowsでの手順 2 RHEL (CentOS) でのスタティックルート設定 2.1 Linuxでの手順 ネットワークカード（NIC）を複数搭載し、それぞれの NIC を別のネットワークに接続するような場合、通信が正常にできないことがある（不安定になる）。 図 のようなネットワークだと、PC から 192.168.1.0/24 と 192.168.2.0/24 への通信は問題なくできるが、ルーター（ゲートウェイ）を越えるような WAN や 10.0.0.0/24 への通信はできたりできなかったりする。 原因は、PC に複数のデフォルトゲートウェイを設定したとしても、ルーターを超える通信につ
CentOSにおいてマルチホーミングの設定
CentOSにおいてマルチホーミングの設定 複数のNICがある場合、適切にルーティングをしておかないと、たとえば外からpingを打ったとき、受け取ったNICから返さないと疎通が行われません。 マルチホーミングでは、この"受け取ったNICに返す"と、"負荷が小さいNICから返す"などいくつか方法がありますが、今回は前者の設定を行います。 書籍『Linux高信頼サーバ構築ガイド シングルサーバ編』に掲載されているまんまです。 ■I/F毎にルーティングを決めるテーブルを作るためのIDと名前をデータベース(ファイル)に記述する [root@gold ~]# vi /etc/iproute2/rt_tables # Intel Corporation 82573L Gigabit Ethernet Controller # # reserved values # 255 local 254 main
『CentOSにおける複数NICの設定』
１．最後に起動したNICに設定されていたGATEWAY以外は無効になる事象 →rp_filterな CentOSに複数NICをつけて、異なるセグメントのIPアドレスを設定して、ルータに接続する。 例えば、/etc/sysconfig/network-script/ifcfg-eth* 上で、下記のように、IPADRや、GATEWAYを設定した場合、 (1) eth0では、 ①IPアドレス ： 192.168.2.99/24 ②ゲートウエイ： 192.168.2.1 (2) eth1では、 ①IPアドレス ： 10.0.0.99/8 ②ゲートウエイ： 10.0.0.1 この場合、CentOS5.6では、 (ア)別のPCからeth0とeth1の両方へのping成功。 ただし、帰りの経路は、eth1経由 (イ)# routeコマンドでは、デフォルトゲートウェイは、10.0.0.1のが記載され
RSS対応NICなのに割り込み処理が複数コアに分散しない…のはirqbalanceが動いてなかったから - 酒日記 はてな支店
タイトルがすべてでございます。 NICの割り込み処理が1コアに集中してしまい、ボトルネックになって性能が出ない場合があるという話は最近広く知られていると思います。 NICのハードウェアレベルで割り込みを分散してくれる RSS(Receive Side Scaling) という仕組みがあり、それを利用すれば特になにもしなくても複数コアに分散されるはず、と思っていたのですが、どうも特定のマシンでそうならない。 # cat /proc/interrupts CPU0 CPU1 CPU2 (省略) CPU11 64: 1256214 0 0 ... 0 IR-PCI-MSI-edge eth1-0 65: 225711 0 0 0 IR-PCI-MSI-edge eth1-1 66: 402906 0 0 0 IR-PCI-MSI-edge eth1-2 67: 723539 0 0 0 IR-P
LinuxでNIC番号が思った通りにならない
よくあるトラブルのためのTIPSを１つ。 ディストロはRHEL系/Ubuntu系を問わず、表記のようなトラブルは多いと思う。 例えば、オンボードにEthernetが2port、拡張カードで 2port が搭載されているマシンにLinuxディストロをインストールするケースを考えよう。 この場合、ifconfig -a (等)でOSから見えるオンボードの2 port はそれぞれ eth0とeth1に、拡張ボード側は それぞれ eth2 と eth3 になってほしいと思うのが普通だと思う。 しかし、インストーラに任せておくと、往々にして以下のようなことが起こり、気付かないでいると、 正しく IP address 等を設定したはずなのに疎通がとれず、ハマることになる。 期待 実際 オンボード１port 目 eth0 eth1 オンボード２port 目 eth1 eth3 拡張ボ
同じサブネットへのNIC 2枚指し、またはソースルーティングのおはなし - （ひ）メモ
「NIC 2枚刺し」というと「IP masqueradeを使ってLinuxでルーターを作ろう！」的な話を思い出す老害です。こんにちは。 NICを2枚生やしたサーバーから同じサブネットに両方の足をのばす機会があったのですが、じゃっかん躓いたのでそのメモです。 具体的にいうと、eth0の方は問題ないのですが、eth1についているIPアドレスへの疎通ができない、というものでした。 以下、 eth0についているIPアドレスが10.0.0.10 eth1についているIPアドレスが10.0.0.11 対向の別サーバーが10.0.0.100 という体で読んでください。 さて、 別サーバーからpingしつつ、eth1でtcpdumpしてみると、echo requestは届いているのが観測できました。が、echo replyを返していません。 # tcpdump -i eth1 -nl icmp liste
Kernel/VM Advent Calendar ４日目: Linuxのネットワークスタックのスケーラビリティについて - syuu1228's blog
【お願い】私はLinuxカーネルもネットワーク周りも素人です。ここに書いてある事は間違えている可能性もあるのでおかしいなと思ったらすかさず突っ込んでください。宜しくお願い致します。 今回は、この記事の内容を全面的に見直して、再度Linuxのネットワークスタックのスケーラビリティについてまとめようと思います。 従来のLinuxネットワークスタック＋従来のシングルキューNIC 以下の図は従来のLinuxネットワークスタック＋従来のシングルキューNICで、あるプロセス宛のパケットを受信している時の処理の流れを表している。フォワーディングの場合やプロトコルスタック内の処理は割愛した。 プロセスがシステムコールを発行してからスリープするまで プロセスは、システムコールを通してカーネルにパケットを取りに行く。 パケットはソケット毎のバッファに貯まるようになっているが、バッファが空だったらプロセスはパケ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RHEL5 CentOS5 Xen Intel SR-IOV NIC Virtual Function VF PCI Passthru Tutorial - Xen