How to achieve low latency with 10Gbps Ethernet
Good morning! In a recent blog post we explained how to tweak a simple UDP application to maximize throughput. This time we are going to optimize our UDP application for latency. Fighting with latency is a great excuse to discuss modern features of multiqueue NICs. Some of the techniques covered here are also discussed in the scaling.txt kernel document. CC BY-SA 2.0 image by Xiaojun Deng Our expe
1.1. UEKについて
2010年9月に、オラクル社は、Oracle Linux 5を使用したデプロイメントに推奨されるカーネルとしてOracle Linux用の新しいUnbreakable Enterprise Kernel (UEK)を公開しました。Oracle Linux 5.5以降から、Red Hat互換カーネルまたはUEKのいずれかを使用できるようになりました。Oracle Linux 5.6で、UEKはデフォルト・カーネルになりました。 UEK作成の主な動機は、ExadataおよびExalogicによってエンジニアリングされたシステム用の高性能な最新のLinuxカーネルを提供することでした。カーネルは、CPUの数、メモリーおよびインフィニバンド接続の増加に応じてスケーリングする必要がありました。 オラクル社では、負荷の高いOracleワークロードで集中的にUEKをテストしており、UEKをOracleデ
RX
02. RX. 受信処理 Linux では（他の OS もそうですが）、割り込みハンドラは軽いものにしておき、時間のかかる処理は割り込みハンドラ復帰後（割り込み許可後）に行います。この遅延処理はソフトウェア割り込み（ボトムハーフとも言う）と呼ばれ、タイマー、ネットワークの送受信、tasklet などが利用しています。 （ソフトウェア割り込みと言っても、x86 がシステムコールで利用する int 0x80 のような CPU のトラップ機能ではなく、割り込みコンテキスト上で、割り込み許可後に実行されるコールバック関数群です） Linux の LAN ドライバは、割り込みハンドラではこのソフトウェア割り込み（NET_RX_SOFTIRQ）を起動するのみにとどめ、LAN コントローラからのデータ受信や各種プロトコル処理は NET_RX_SOFTIRQ 上で行うようになっています（NAPI）。 以
Linux Kernel Documentation :: networking : scaling.txt
Based on kernel version 4.16.1. Page generated on 2018-04-09 11:53 EST. 1 Scaling in the Linux Networking Stack 2 3 4 Introduction 5 ============ 6 7 This document describes a set of complementary techniques in the Linux 8 networking stack to increase parallelism and improve performance for 9 multi-processor systems. 10 11 The following technologies are described: 12 13 RSS: Receive Side Scaling 1
Intel 82599 10GbE Controllerで遊ぼう
6. Spec • PCIe 2.0 x8 • 15.5KB Jumbo frames • 128 Tx / 128 Rx Queues • Rx Queue Assignment • RSS • Flow Director • L2, L3, L4 Filters • SYN Packet Filters • Virtualization Support(SR-IOV,VMDq) • VLAN, FCoE Support • Direct Cache Access • etc, etc... 7. • Disabling RSS on the fly is not allowed, and the 82599 must be reset after RSS is disabled. • When RSS is disabled, packets are assigned an RSS o
Re: CentOS5でもRPS/RFSでNICが捗る話 - まいんだーのはてなブログ
id:studio-m (nekoyaさん)にblogエントリで先を越されたけど自分はちょっと使い所と事情が異なっていそうだったのでそれを書いておきたく!! 0. RPS/RFS の利用 CentOS5 系でのやり方は nekoyaさんのエントリ を見てください。 CentOS6 系でのやり方は kazeburoさんのエントリ を見てください。 自分はkernel 2.6.39で試しましたが問題なく動作しました。 1. RPS/RFSの利用を迫られた背景 nekoya さんは app サーバの所でネットワーク問題が起こっていたようですが、自分の場合 LVS と outbound のトラフィックをさばいているLinuxルータで厳しいことになってきておりました。 この時発生する具体的な症状として LoadAverage が 1 で張り付いて応答が極端に悪くなる というものがあります。 これをど
Network Scaling について - 教育は参考ブログ
Linux Kernel Documentation | Scaling in the Linux Networking Stack Google Project Hosting | NetScalingGuide Technology Intel Magazine | ネットワークのパフォーマンス、信頼性、効率を高める インテルR I/O Acceleration Technology (PDF) Slideshare | イマドキなネットワークIO ASADA Takuya 氏 Slideshare | Hardware/Software for Packet Processing OHARA Hisaki 氏 驟雨のカーネル探検隊（只今遭難中ｗ | Receive-Side Scalingについての調査メモ (id:syuu1228:20101219:1292725423) 驟雨のカ
CentOS5でもRPS/RFSでNICが捗る話 | Nekoya press
kazeburoさんがCentOS6.2での事例を紹介されていますが、CentOS5系でもkernelを上げればRPS/RFSが使えるようになって、NICの負荷状況が劇的に改善します。 やり方は意外に簡単で、ELRepoからkernel-ml-2.6.35-14.2.el5.elrepo.x86_64.rpmを落としてきてインストール。 あとは、/boot/grub/menu.lstの設定をdefault=0にしてrebootすればOK。 $ uname -r 2.6.35-14.2.el5.elrepo ELRepoはNICのドライバなんかもいろいろ提供してくれるし、古いバージョンのRPMをarchiveで提供してくれて非常にいいですね（kernelの過去RPMはないのかな）。 RPS/RFSを有効にする設定はCentOS6と同様です。 # echo "f" > /sys/class/n
Kernel/VM Advent Calendar ４日目: Linuxのネットワークスタックのスケーラビリティについて - syuu1228's blog
【お願い】私はLinuxカーネルもネットワーク周りも素人です。ここに書いてある事は間違えている可能性もあるのでおかしいなと思ったらすかさず突っ込んでください。宜しくお願い致します。 今回は、この記事の内容を全面的に見直して、再度Linuxのネットワークスタックのスケーラビリティについてまとめようと思います。 従来のLinuxネットワークスタック＋従来のシングルキューNIC 以下の図は従来のLinuxネットワークスタック＋従来のシングルキューNICで、あるプロセス宛のパケットを受信している時の処理の流れを表している。フォワーディングの場合やプロトコルスタック内の処理は割愛した。 プロセスがシステムコールを発行してからスリープするまで プロセスは、システムコールを通してカーネルにパケットを取りに行く。 パケットはソケット毎のバッファに貯まるようになっているが、バッファが空だったらプロセスはパケ
CentOS 6.2 で RPS/RFS を使ってネットワークの割り込み処理を複数コアに分散してみた - blog.nomadscafe.jp
以前(2010年)に「アプリケーションがマルチスレッドでもマルチコアCPUを活かせない件」というエントリにてCPUのコアが増えても割り込み処理が分散されないのでスケールされないと書いたけど、その後Linux KernelにRPS/RFSなる機能が追加され、割り込み処理が分散できるようになり、CentOS 6.2 でも使えるらしいので試してみました。 RPS/RFSについての紹介は VIOPS06で「RPS・RFS等最新Linux Kernel事例」と題してお話してきました http://d.hatena.ne.jp/syuu1228/20110722/1311322653 Linux内核 RPS/RFS功能详细测试分析 http://www.igigo.net/archives/204 が詳しい。2番目のはほぼ読めないけど、性能比較のグラフが分かりやすい。 今回試したサーバは、 OS: C
RPS/RFS
The document discusses Receive Packet Steering (RPS) and Receive Flow Steering (RFS). It shows that enabling both RPS and RFS can increase packets per second (PPS) throughput by up to 35% compared to only using RPS or not using either. It analyzes the CPU load balancing performance with different configurations and explains how RPS and RFS work at the hardware and software levels to distribute net
イマドキなネットワークIOsyuu@openbsd.orgはじめに• ネットワークの高速化に伴ってハード・ソフト両面でネットワークIOの実装が繰り返し見直されてきている• これがLinuxカーネルの実�
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
VIOPS06で「RPS・RFS等最新Linux Kernel事例」と題してお話してきました - syuu1228's blog
はじめに 第一回カーネル／VM探検隊＠関西、第二回日本Vyattaユーザ会ミーティングで行った発表のダイジェスト版です。 詳しく知りたい人はこちらの内容ではなく、第二回日本Vyattaユーザ会ミーティングの動画、資料をみる事をお勧めします。 あと、最新って書いてあるけど割と古い話題です。すんません。 発表資料 従来型のNICとネットワークスタックの組み合わせでは、マルチコア環境においても１つのNICの受信処理は１つのCPUでしか行えません。 これは、NIC上に受信のキューと受信を通知する割り込みが１つしか存在せず、ハードウェアからデバイスドライバまでのレイヤーでは受信処理を並列に行う事が本質的に出来ない事が原因でした。 これが原因で、通信量が多い時にパケット処理の負荷が特定のCPUへ偏ってしまい、CPU数を増やしても性能がスケールしないという問題が発生します。 この問題を解決する為に、１つ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
10GbE時代のネットワークI/O高速化
heise online – IT news, guides and background information | heise online
Chapter 8. Networking | Red Hat Product Documentation