パケット処理のマルチコアスケールについて - Qiita
概要 この資料を見て、パケット処理の割り込みとマルチコアによるスケールが気になったので自分でも調べてみたことをまとめる. はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena まず上記資料を３行でまとめると 受信パケットはハード割り込みとソフト割り込みを使ってCPUに処理される 受信パケットの割り込みが特定のCPUにしかいかずマルチコアスケールしない問題に遭遇 RPS (Receive Packet Steering)を使用してマルチコアで受信パケットを処理しロードバランサーのネットワーク処理の性能を向上させた 資料を見ていて以下の点が気になったので、ここら辺をスッキリさせるためにいくつかの資料を読み、まとめておく 割り込みが特定のCPUにしかいかなかった理由 RPS(Receiv
Intent-based retargeting | Datacratic
Datacratic's intent-based retargeting technology is now part of iperceptions Get expert guidance in measuring and optimizing the effectiveness of your marketing campaigns with iperceptions ©2017 Datacratic. All Rights Reserved. All other trademarks, logos and brand names on this website are the properties of their respective owners.
How to achieve low latency with 10Gbps Ethernet
Good morning! In a recent blog post we explained how to tweak a simple UDP application to maximize throughput. This time we are going to optimize our UDP application for latency. Fighting with latency is a great excuse to discuss modern features of multiqueue NICs. Some of the techniques covered here are also discussed in the scaling.txt kernel document. CC BY-SA 2.0 image by Xiaojun Deng Our expe
Receive Side Scaling and Receive Packet Steering
Lets cover some basic terminologies before we dig into Receive Side Scaling and Receive Packet Steering. Network Interface Card: A network interface controller (NIC) (also known as a network interface card, network adapter) is an electronic device that connects a computer to a computer network/ Modern NIC usually comes up with speed of 1-10Gbps. #Find your NIC speed [root@machine1 ~]# ethtool eth0
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
1.1. UEKについて
2010年9月に、オラクル社は、Oracle Linux 5を使用したデプロイメントに推奨されるカーネルとしてOracle Linux用の新しいUnbreakable Enterprise Kernel (UEK)を公開しました。Oracle Linux 5.5以降から、Red Hat互換カーネルまたはUEKのいずれかを使用できるようになりました。Oracle Linux 5.6で、UEKはデフォルト・カーネルになりました。 UEK作成の主な動機は、ExadataおよびExalogicによってエンジニアリングされたシステム用の高性能な最新のLinuxカーネルを提供することでした。カーネルは、CPUの数、メモリーおよびインフィニバンド接続の増加に応じてスケーリングする必要がありました。 オラクル社では、負荷の高いOracleワークロードで集中的にUEKをテストしており、UEKをOracleデ
RX
02. RX. 受信処理 Linux では（他の OS もそうですが）、割り込みハンドラは軽いものにしておき、時間のかかる処理は割り込みハンドラ復帰後（割り込み許可後）に行います。この遅延処理はソフトウェア割り込み（ボトムハーフとも言う）と呼ばれ、タイマー、ネットワークの送受信、tasklet などが利用しています。 （ソフトウェア割り込みと言っても、x86 がシステムコールで利用する int 0x80 のような CPU のトラップ機能ではなく、割り込みコンテキスト上で、割り込み許可後に実行されるコールバック関数群です） Linux の LAN ドライバは、割り込みハンドラではこのソフトウェア割り込み（NET_RX_SOFTIRQ）を起動するのみにとどめ、LAN コントローラからのデータ受信や各種プロトコル処理は NET_RX_SOFTIRQ 上で行うようになっています（NAPI）。 以
Multi-queue network interfaces with SMP on Linux
We hebben sinds dit artikel een nieuwe website gekregen. Wellicht ziet dit artikel er daarom niet zo uit zoals je zou verwachten. Als je denkt dat deze pagina erg nuttig is, en hij er niet mooi uit ziet of niet goed functioneert, neem dan contact met ons op. Building a router with Linux is a viable alternative to commercial products in many applications. In this article, we explore the process of
Linux Kernel Documentation :: networking : scaling.txt
Based on kernel version 4.16.1. Page generated on 2018-04-09 11:53 EST. 1 Scaling in the Linux Networking Stack 2 3 4 Introduction 5 ============ 6 7 This document describes a set of complementary techniques in the Linux 8 networking stack to increase parallelism and improve performance for 9 multi-processor systems. 10 11 The following technologies are described: 12 13 RSS: Receive Side Scaling 1
Re: CentOS5でもRPS/RFSでNICが捗る話 - まいんだーのはてなブログ
id:studio-m (nekoyaさん)にblogエントリで先を越されたけど自分はちょっと使い所と事情が異なっていそうだったのでそれを書いておきたく!! 0. RPS/RFS の利用 CentOS5 系でのやり方は nekoyaさんのエントリ を見てください。 CentOS6 系でのやり方は kazeburoさんのエントリ を見てください。 自分はkernel 2.6.39で試しましたが問題なく動作しました。 1. RPS/RFSの利用を迫られた背景 nekoya さんは app サーバの所でネットワーク問題が起こっていたようですが、自分の場合 LVS と outbound のトラフィックをさばいているLinuxルータで厳しいことになってきておりました。 この時発生する具体的な症状として LoadAverage が 1 で張り付いて応答が極端に悪くなる というものがあります。 これをど
Network Scaling について - 教育は参考ブログ
Linux Kernel Documentation | Scaling in the Linux Networking Stack Google Project Hosting | NetScalingGuide Technology Intel Magazine | ネットワークのパフォーマンス、信頼性、効率を高める インテルR I/O Acceleration Technology (PDF) Slideshare | イマドキなネットワークIO ASADA Takuya 氏 Slideshare | Hardware/Software for Packet Processing OHARA Hisaki 氏 驟雨のカーネル探検隊（只今遭難中ｗ | Receive-Side Scalingについての調査メモ (id:syuu1228:20101219:1292725423) 驟雨のカ
CentOS5でもRPS/RFSでNICが捗る話 | Nekoya press
kazeburoさんがCentOS6.2での事例を紹介されていますが、CentOS5系でもkernelを上げればRPS/RFSが使えるようになって、NICの負荷状況が劇的に改善します。 やり方は意外に簡単で、ELRepoからkernel-ml-2.6.35-14.2.el5.elrepo.x86_64.rpmを落としてきてインストール。 あとは、/boot/grub/menu.lstの設定をdefault=0にしてrebootすればOK。 $ uname -r 2.6.35-14.2.el5.elrepo ELRepoはNICのドライバなんかもいろいろ提供してくれるし、古いバージョンのRPMをarchiveで提供してくれて非常にいいですね（kernelの過去RPMはないのかな）。 RPS/RFSを有効にする設定はCentOS6と同様です。 # echo "f" > /sys/class/n
Kernel/VM Advent Calendar ４日目: Linuxのネットワークスタックのスケーラビリティについて - syuu1228's blog
【お願い】私はLinuxカーネルもネットワーク周りも素人です。ここに書いてある事は間違えている可能性もあるのでおかしいなと思ったらすかさず突っ込んでください。宜しくお願い致します。 今回は、この記事の内容を全面的に見直して、再度Linuxのネットワークスタックのスケーラビリティについてまとめようと思います。 従来のLinuxネットワークスタック＋従来のシングルキューNIC 以下の図は従来のLinuxネットワークスタック＋従来のシングルキューNICで、あるプロセス宛のパケットを受信している時の処理の流れを表している。フォワーディングの場合やプロトコルスタック内の処理は割愛した。 プロセスがシステムコールを発行してからスリープするまで プロセスは、システムコールを通してカーネルにパケットを取りに行く。 パケットはソケット毎のバッファに貯まるようになっているが、バッファが空だったらプロセスはパケ
CentOS 6.2 で RPS/RFS を使ってネットワークの割り込み処理を複数コアに分散してみた - blog.nomadscafe.jp
以前(2010年)に「アプリケーションがマルチスレッドでもマルチコアCPUを活かせない件」というエントリにてCPUのコアが増えても割り込み処理が分散されないのでスケールされないと書いたけど、その後Linux KernelにRPS/RFSなる機能が追加され、割り込み処理が分散できるようになり、CentOS 6.2 でも使えるらしいので試してみました。 RPS/RFSについての紹介は VIOPS06で「RPS・RFS等最新Linux Kernel事例」と題してお話してきました http://d.hatena.ne.jp/syuu1228/20110722/1311322653 Linux内核 RPS/RFS功能详细测试分析 http://www.igigo.net/archives/204 が詳しい。2番目のはほぼ読めないけど、性能比較のグラフが分かりやすい。 今回試したサーバは、 OS: C
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
仮想化環境におけるパケットフォワーディング(pdf)
10GbE時代のネットワークI/O高速化
マルチコアとネットワークスタックの高速化技法
heise online – IT news, guides and background information | heise online
Chapter 8. Networking | Red Hat Product Documentation
Linux システムにおけるパケットフォワーディング概要