Linux Kernel vs DPDK: HTTP Performance Showdown
# OverviewIn this post I will use a simple HTTP benchmark to do a head-to-head performance comparison between the Linux kernel's network stack, and a kernel-bypass stack powered by DPDK. I will run my tests using Seastar, a C++ framework for building high-performance server applications. Seastar has support for building apps that use either the Linux kernel or DPDK for networking, so it is the per
What’s new with io_uring
Jens Axboe Software Engineer What’s new with io_uring FASTER IO WITH A CONSISTENT MODEL? YES PLEASE Quick primer Source: https://medium.com/nttlabs/rust-async-with-io-uring-db3fa2642dd4 System calls io_uring_setup(2) Sets up an io_uring instance, application then mmap(2)’s the SQ and CQ ring memory. Returns a file descriptor, application closes fd when done (or on process exit). io_uring_enter(2)
How TCP backlog works in Linux
When an application puts a socket into LISTEN state using the listen syscall, it needs to specify a backlog for that socket. The backlog is usually described as the limit for the queue of incoming connections. Because of the 3-way handshake used by TCP, an incoming connection goes through an intermediate state SYN RECEIVED before it reaches the ESTABLISHED state and can be returned by the accept s
GitHub - zoidbergwill/awesome-ebpf: A curated list of awesome projects related to eBPF.
Awesome eBPF A curated list of awesome projects related to eBPF. BPF, as in Berkeley Packet Filter, is an in-kernel virtual machine running programs passed from user space. Initially implemented on BSD, then Linux, the (now legacy) "classic BPF" or cBPF machine would be used with tools like tcpdump for filtering packets in the kernel to avoid useless copies to user space. More recently, the BPF in
Linuxにおける非同期IOの実装について - Qiita
はじめに Linux 5.1に新しい非同期IOの仕組みとしてio_uringがマージされてから既に1年以上経ってしまいましたが、これまでのLinuxにおける非同期IOの使い方や実装を見ていきながら、io_uringが登場した背景やLinux AIO(libaio)の問題点をどのように解決しているのかについてまとめました。アプリケーションの書き方については大まかにしか説明していないので、それについてはmanページや別の記事を参照してください。 またIOという範囲が広いのですが、ここではブロックデバイス上のファイルシステムにおける通常ファイルに対するread/writeについて考えています(ネットワークは考えていないのでepollの話はないです)。 前提知識 簡単に前提となる話をおさらいします。 同期IOと非同期IO IOを行うシステムコールとしてすぐに思いつくのはread(2)/write(
bpftrace 2020 - 睡分不足
(この記事はLinux Advent Calendar 2020 - Qiitaの2日目の記事です．前日はmasami256さんのTiny Core LinuxでLinuxのinitプロセスが実行されるあたりを調べるでした．) みなさんこんにちはこんばんは．bpftraceを使っていますか? (e)BPFといえば最近は専らCiliumなどネットワークが話題ですが，bpftraceはBPF*1を利用したトレーシングツールです．私は昨年からぼちぼち使い始めて，機能追加やバグ修正のパッチをいろいろと投げていた(130+)ら気づいたらコミッタになっていました．ということでbpftraceについては比較的よく知っていると思うので，今年にbpftraceに追加された主要な機能や変更点を紹介したいと思います． bpftrace知らないなぁという方はこちら(拙文です)を，bpftrace使ってないなぁとい
カーネルにおけるタイマー事情 | 技術文書 | 技術情報 | VA Linux Systems Japan株式会社
Linuxカーネル内では時刻/時間を表す構造体が必要に応じて色々と定義されています。 long unsigned int jiffies; tick を数えたもので、初期値は 32bit プラットフォームでは -5 分相当となります。64bit プラットフォームでは、-5 分相当の 32bit 値を、符合なしで 64bit に拡張したもの (上位 32bit を 0 で埋めたもの) です。 struct timeval タイマー値を指定する場合に使用します。この構造体のメンバは、tv_sec (秒) と tv_usec (マイクロ秒)で、主にユーザーランド API として使用されます。 struct timespec タイマー値を指定する場合に使用します。この構造体のメンバは、tv_sec (秒) と tv_nsec (ナノ秒) で、ユーザーランド API の他 xtime などで使用され
The OOM CTF
カーネルのバージョンやシステムの構成や実行するタイミングなどの変動要因により、結果が異なる場合がありますことを予めご了承ください。 0.3 自己紹介：熊猫の Linux との関わりについて ＯＳレベルでのセキュリティ強化 ２００３年４月から２０１２年３月までは、 TOMOYO Linux という Linux システム向けのアクセス制御モジュールの開発に携わってきました。バッファオーバーフロー脆弱性やＯＳコマンドインジェクション脆弱性を撲滅できない状況で、当初は SELinux という難解なアクセス制御モジュールしかありませんでした。 TOMOYO Linux のメインライン化にまつわる苦労話は、セキュリティ＆プログラミングキャンプ２０１１の講義資料を参照していただければと思います。 TOMOYO Linux から始まって AKARI や CaitSith に至るまでの変遷は、セキュリティ・
Ftraceでカーネルの一部の処理を追いかける方法 - Qiita
ftraceのfunctionトレーサやfunction graphトレーサを使うと、カーネルの関数呼び出し処理を追いかけることができます。 ftraceの諸機能をカーネルで有効にする方法については前回の投稿を参照してください。ただし今回書いている内容は、恐らくFedoraやUbuntuのカーネルではデフォルトで有効になっています。 関数コールトレーサ ftraceにはLinuxカーネル内の関数呼び出しをトレースする関数コールトレーサ・関数コールグラフトレーサをサポートしています。 関数コールトレーサはfunctionを、関数コールグラフトレーサは function_graph を、/sys/kerne/debug/tracing/current_tracerに書き込むだけで利用できます。 これらの関数コール（グラフ）トレーサは、インライン展開されていないすべての関数呼び出しをトレースし、
readdir_r は使ってはいけないという話 : 革命の日々 その２
Unixの世界には readdir_r()というAPIがある。readdir()のthread safe バージョンとしばしば紹介されている。 それぞれの関数宣言は以下 http://man7.org/linux/man-pages/man3/readdir_r.3.html struct dirent *readdir(DIR *dirp); int readdir_r(DIR *dirp, struct dirent *entry, struct dirent **result); struct dirent { ino_t d_ino; /* inode number */ off_t d_off; /* not an offset; see NOTES */ unsigned short d_reclen; /* length of this record */ unsigned
Ticket spinlockメモ φ(.. )ﾒﾓｼﾃｵｺｳ - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
Linuxカーネルのspinlockがどんなロジックで動いているのかなと思ってarch/x86/include/asm/spinlock.hを見ていたらTicket spinlockというのが出てきたのでメモ〆(.. )ｶﾘｶﾘｯ!! 概要は英語のWikipediaで見つけました。 これによるとTicket spinlockは2個の整数の変数を使い、1つはqueueチケット、もう一つはdequeueチケットと呼びます。初期値は両方とも0です。 処理の流れとしては下のようになります。 1.queueの値を読みインクリメントする 2.インクリメント前のqueueの値とdequeueと比較し、queue == dequeueなら誰もロックを確保していないのでロック確保に成功 3.ロックの確保に失敗した場合はqueue == dequeueになるまでスピンして待つ 4.クリティカルセクションを抜け
Linuxカーネルのデバッグでprintk(9)デバッグを卒業したいっ！ - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2015の25日目の記事です。 Linuxカーネルのデバッグである意味一番手軽なのがprintk(9)によるデバッグだと思うんですが（ユーザランドのプログラムで言うところのprintf(3)デバッグ）、この場合h速いCPUを積んだマシンならビルドはすぐに終わるけど、カーネルを変えている以上は再起動はしないといけないし、ちょっと手間ですよね。ということで、printk(9)によるデバッグはそろそろ卒業しようというのがテーマです。 ちなみに、printk(KERN_INFO"foobar\n")よりもpr_info("foobar\n")のほうがお手軽です。pr_で始まるマクロがinclude/linux/printk.hに定義されています。 Linuxのデバッグをするための方法としても下記のようなものがあります（kmemleakとかloc
PCとpktgenで行くショートパケットワイヤレートの旅
冒頭 「ねぇ、秒速1,488,095フレームなんだって」 「え、なに？」 「1Gbpsで最小フレームを送信可能なフレームレート。秒速1,488,095フレーム」 「ふーん・・・」 そりゃあ「ふーん・・・」ってなるな？ このフレームレートに到達しなければ1Gbpsを処理できているとは言えない。 従って、1Gbpsを処理できているか試験するために、汎用PCでこのフレームレートに到達する必要がある。 （1,000,000,000 bit = 125MB, 125MB/(60+4+12+8) = 1,488,095として計算） では本題に入ろう。 はじめに pktgenは、Linuxのカーネルに搭載されたトラフィックジェネレータ。 いつぞやからメインラインにカーネルモジュールとして同梱されるようになったので、恐らく2.6.26以降辺りから使えるのではないかと思う。 使い方 さしあたり、構成はループ
IIJlab seminar - Linux Kernel Library: Reusable monolithic kernel (in Japanese)
4. モチベーション (Why) 新しい用途でも、実績のあるソフトウェアが利用したい ネットワークスタック(618K LoC, Linux) ファイルシステム(752K LoC, Linux) アプリケーション(a lot) VM は重い(再現性向上=> 機動性低下) 抽象化の場所(プロセッサ、OS、システムコール、etc) 仮想化技術から前進させて、変形させる Poll: "When you download and run software, how often do you use a virtual machine (to reduce security risks)?" Jon Howell, Galen Hunt, David Molnar, and Donald E. Porter, Living Dangerously: A Survey of Software Downl
Linuxサーバにログインしたらいつもやっているオペレーション - ゆううきブログ
主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。 とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。 普段使っているけれども、アプリケーション開発者向きではないものはあえて省いています。 MySQLやNginxなど、個別のミドルウェアに限定したノウハウについては書いていません。 ログインしたらまず確認すること 他にログインしている人がいるか確認（w） サーバの稼働時間の確認 (uptime) プロセスツリーをみる (ps) NICやIPアドレスの確認 (ip) ファイルシステムの確認（df） 負荷状況確認 top iostat netstat / ss ログ調査 /var/log/messages or /var/log/syslog /
ntpdからみるcapability - とあるSIerの憂鬱
CentOSではNTPデーモンがntpユーザ権限で動作している。root権限で動いていないということで『一応安全を意識してるんだな』ぐらいにしか思っていなかった。 しかし、システム時刻を変更というrootしかできない行為をntpユーザが行っていることの不思議に(今更)気がついたので調べてみた。 これはCapability(ケーパビリティ)と呼ばれる機能を使用して実現されている。 Capability は『強大すぎるroot権限』を30-40個程度のおおまかな小さな権限(それぞれをCAP0, CAP1, ..., CAPnとしておく)に分割し、プロセスごとに 『CAPx と CAPy のみ許可』 のような設定をできるようにする仕組みである。 26種類目のCAP (CAP25) が『CAP_SYS_TIME』(include/linux/capability.h で定義) であり、『システム時
Managing flash storage with Linux
Note: this article was first written for the German edition of Linux Magazine, and was later posted in the English edition too. We negotiated the right to publish it on our blog after the print editions. Here is the original version (the paper versions were modified by the editors to make them more concise). In the family tree of computers, personal computers (PCs) are the parents, while the child
Linux switch_root vs pivot_root vs chroot
1. pivot_root can/should be used together with chroot pivot_root new_root put_old pivot_root moves the root file system of the current process to the directory put_old and makes new_root the new root file system. cd new_root pivot_root . old-root exec chroot . command umount /old-root Note that chroot must be available under the old root and under the new root, because pivot_root may or may not ha
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How io_uring and eBPF Will Revolutionize Programming in Linux
今さら聞けない Linux コンテナの基礎 (2015-06-20)
