Linux カーネルをバイパスして TCP 通信を 10 倍速くする | IIJ Engineers Blog
【IIJ 2023 TECHアドベントカレンダー 12/16の記事です】 この記事について 背景：TCP はコンピュータネットワークの通信において広く利用されているプロトコル・標準化された通信規格です。コンピュータは TCP/IP スタックと呼ばれるようなソフトウェアを実行することで、定められた規格に則って通信を行います。汎用 OS 環境では、TCP/IP スタックは多くの場合、カーネル空間に OS 機能の一部として実装されています。 課題：通信に関するソフトウェアの研究コミュニティでは、そのようなカーネル空間に実装されている TCP/IP スタックは、近年の高速な NIC の性能を十分に引き出すことが難しいという課題が指摘されてきました。 テクニックの紹介：当記事では、近年の研究コミュニティにおいて比較的一般的な高速化テクニックとされている「カーネルをバイパス（迂回）して TCP 通信を
「Linux」メンテナーの燃え尽き症候群問題--業務内容の変化と支援の必要性
Linuxコードのメンテナーというのは、何千人もの開発者からのマージ依頼を受け取り、コード中にエラーがなく、リグレッション（退行）がないことを確認し、ワークツリーの上流や下流にある他のメンテナーによるパッチとの連携を調整し、最後にマージ対象パッチをメインラインに取り込むという作業を担う人々だ。また、バックポートも実行する。メンテナーはこのように多くの作業を担当しているが、ここに挙げたのはコードに関する「楽しい」部分だけだ。 メンテナーはさらに、異なる意見を持つ開発者間の調停役を務めたり、ベンダーやユーザーとやり取りをする必要もある。後者は、ハードウェア企業との話し合い、そしてそうした企業のドライバーをオープンソース化するための調整作業、ドライバー開発方法に関する開発者支援、ノートPCに搭載されているタッチパッドを機能させるためのユーザーサポート（ドライバー開発時にハードウェア企業が協力して
今やBlackBerryの主力事業に、下克上を果たしたRTOS「QNX Neutrino」
「QNX Neutrino」も結構長い歴史を持つリアルタイムOS（RTOS）である。もっとも、長い歴史を持つということは、いろいろな会社の事情に振り回されてきたということとニアリーイコールでもある。 ⇒連載記事「リアルタイムOS列伝」バックナンバー カナダの“カナタ”で創業 QNX Neutrinoは1980年、カナダのウォータールー大学の学生だったGordon Bell氏とDan Dodge氏により開発された。ちなみにBell氏は、DECでPDPやVAXの開発にも関わり、ACMのゴードンベル賞（HPCの分野で画期的な成果に対して贈られる賞。別名スパコン界のノーベル賞）の名前の由来となったGordon Bell氏とは同姓同名の別人である。 Bell氏とDodge氏は計算機学科でRTOSについて学んでおり、自分たちでもマイクロカーネルベースのRTOSを作ってみた。この試しに作ったRTOSの完
トーバルズ氏、Linuxカーネルを「C89」から「C11」コードに移行する準備
LinuxカーネルがCで記述されているというのは誰もが知るところだ。ただ、そのCがかなり昔のC、すなわち1989年の規格である「C89」だという事実については知らない人もいるかもしれない。C89は「ANSI X3.159-1989」、あるいは「ANSI C」としても知られている。Linus Torvalds氏は、そろそろC89に別れを告げる時だと判断し、Linuxカーネルの公式な開発言語を2011年規格の「C11」に移行しようとしている。 これは見かけほど大きな変更ではない。C89は現在でもほぼ普遍的にサポートされている。どのようなCコンパイラーでも以前の規格との後方互換性を備えているため、C89で記述されたプログラムのコンパイルや実行は問題にならない。つまり、C11準拠のコンパイラーでも、C89で記述されたレガシーなコードによって問題が引き起こされることはないはずだ。 Torvalds氏
Linuxカーネルの"依存関係地獄"解消目指す「Fast Kernel Headers」
数十年にわたって修正が加えられ、乱雑さという垢が蓄積されたコードをきれいにするというのは気の弱い人がやる作業ではない。しかし、Linuxのカーネル開発における第一人者であるIngo Molnar氏は自らの持てる力を最大限に傾け、オープンソースのLinuxカーネルに秩序を取り戻そうとしている。 Linuxのソースコードは2020年に2780万行に達した。それ以降もその規模は増大する一方だ。Linuxは、30年が経過している他のソフトウェアプロジェクトと同様に、その長い歴史の中でソースコード中にかなりの量の垢をため込んでいる。Linuxカーネルの上級開発者であるMolnar氏はこの問題を根本的なレベルで解決するための初撃となる数カ月におよぶ作業の成果として、「Fast Kernel Headers」（カーネルヘッダー高速化）プロジェクトをリリースした。 その狙いは何だろうか。答えは、Linux
Linux kernel coding style — The Linux Kernel documentation
Linux kernel coding style¶ This is a short document describing the preferred coding style for the linux kernel. Coding style is very personal, and I won’t force my views on anybody, but this is what goes for anything that I have to be able to maintain, and I’d prefer it for most other things too. Please at least consider the points made here. First off, I’d suggest printing out a copy of the GNU c
closeがEINTRを返したらどうするべきか
中村 実 @nminoru_jp @kosaki55tea どうなんでしょう。close()がEINTRで返ってきた場合にリトライをかけないとリークが発生することがあります。FUSEでできた変なネットワークファイルシステムを使っている場合なんて特に。 2013-10-30 11:26:30 鯉江 @koie @nminoru_jp closeがエラーになったら異常系に飛ばしてました。EINTRリトライは考えてなかったっす。異常系処理でcloseするときもEINTRリトライはしないといけないなぁ。やばいなぁ。 2013-10-30 11:29:17 Tanaka Akira @tanaka_akr @nminoru_jp @kosaki55tea close(fd) が失敗した時に fd が生きていることがあるのですか。以前 NFS の quota でテストして close が失敗したときに
LinusがZFSにLKMLで言及した件 - kuenishi's blog
先日Linusが盛大にZFSを非難したことがインターネット・カーネル界隈の噂を駆け巡った。これをタイトルだけみたり本文をちょっと読んだら「ああ、LinusはZFSが嫌いなんだ」とか「LinuxでZFSを使うべきではない」といった理解をする人が非常に多いだろうと思う。Linusは当然Linuxユーザーにとって大きな影響力を持つ人物であり、多くのLinuxユーザーがこの理解のままでいることになりかねない。公私ともにZFSに頼りっきりになっている私は特にそういう状況は非常に困るし、Canonicalは19.10からUbuntu LinuxでのZFS rootを標準にしようとしているくらいだからもっと困るだろう。複雑な状況になっていると思うので、このニュースの深層を探ってみよう。 まず元スレ 元になったLinusのレスによると、そもそも最近カーネルにドライバのインターフェース変更があってZFSがこ
LWN.net - Linux Weekly News
LWN.net is a reader-supported news site dedicated to producing the best coverage from within the Linux and free software development communities. See the LWN FAQ for more information, and please consider subscribing to gain full access and support our activities. [Distributions] Posted Aug 4, 2025 14:26 UTC (Mon) by jzb A pair of packages containing fortune "cookies" that were deemed offensive hav
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
「Linux 4.16」リリース
Linux kernelの最新版、「Linux 4.16」が4月1日付（現地時間）でリリースされた。 今回のリリースは、新しい「Linux 4.16」系列の最初のリリース。CPUに起因する脆弱性「Meltdown」および「Spectre」への対応が一部のアーキテクチャで強化されたほか、MicrosoftのHyper-VゲストでのPCIDサポートが有効になった。また、ext4、F2FS、AFS、XFS、Btrfsなどのファイルシステムでいくつかの強化が施されたほか、inodeが強化され速度が向上した。それ以外にも複数の機能強化・修正が加わっている。 「Linux 4.16」は、gitもしくはkernel.orgからダウンロードできる。 (川原 龍人/びぎねっと) [関連リンク] kernel.org LKML.orgの投稿
#きょうのsystemd: (翻訳)PID 1 を考え直す - ぽぽの備忘録
レナートがsystemdの構想について語ったブログエントリーの翻訳。 原文はこちら: Rethinking PID 1 投稿は2010年4月30日とかなり古いものではあるが、この時点で現在に至るまでのsystemdの設計思想がしっかり示されており、いまもなお色あせていないと思う。 レナートからブログエントリーの翻訳の許可を取り付けたので、せっかくだから一番最初に訳すのはこの記事にしたい。 一気に訳すだけの気力と時間はないので、何回かに分けて訳す。 記事を分割すると検索性が落ちるので、この記事に加筆修正していく。 最初からきちんと訳せるという気はしておらず、誤字・脱字・誤訳がたぶんいっぱいある。 なので、見つけた方はご指摘ください。徐々にいいものにしていきたい。 *1 PID 1 を考え直す 十分な関わりがあったり、行間を読むのが得意であったりすれば、このブログ投稿が何に関することかはもう察
Linus Torvals、クソコードにブチギレ
Linux-Kernel Archive: Re: [GIT] Networking Linus TorvalsがGCCの独自拡張を使った整数演算のオーバーフロー検知コードがあまりにクソすぎるためにブチギレしている。 On Wed, Oct 28, 2015 at 3:32 PM, David Miller <davem@xxxxxxxxxxxxx> wrote: リリースサイクルのこの後半に入れるのはちょっと怖いと思われるかもしれないが、小規模なドライバーの修正をあちこちに施しただけだよ。 マジかよテメーら、こりゃクソだ。 コンフリクトはGCCの新しいクソヘッダーファイルのせいなんだが、俺がブチギレてるのはそこじゃなくてこいつがクソなせいだ。 net/ipv6/ip6_output.cの以前のコードはこれだ。 mtu -= hlen + sizeof(struct frag_hdr);
開発環境構築 | Linuxデバイスドライバ開発入門
デバイスドライバをビルドするためには、カーネルバージョンと同一バージョンの、kernel-develとkernel-headersパッケージが必要です。 そのため、まずは自身の環境のカーネルバージョンと上記2つのパッケージがインストールされているかどうかを調べます。 # uname -r 2.6.18-238.el5 # rpm -aq | grep kernel kernel-headers-2.6.18-238.el5 kernel-devel-2.6.18-238.el5 上記例では、カーネルのバージョンが「2.6.18-238.el5」であり、同バージョンのkernel-develとkernel-headersパッケージがインストールされています。 もし、インストールされていないのであれば、yumなどを使いインストールします。 # yum install kernel-devel
【Linux】カーネルのwrite処理の流れ【pdflush】 - ichidou のブログ
2013-09-20 【Linux】カーネルのwrite処理の流れ【pdflush】 久々更新。備忘録も兼ねてメモ。 それとなくピンと来たので、メモ。こういったことは運用中のトラブルシューティングの キッカケになる可能性があるため、恒久的に覚えて然るべき。なにより、Linuxカーネルの動作が 少しでも分かったような気になるため、非常に楽しい。Linuxカーネルの write 処理の流れについて。 1. プロセスが write(2) システムコールを発行 2. write(2) 対象のデータをカーネルがページキャッシュに蓄積 3. カーネルが該当のページ(データ)にDirtyフラグを付与 4. 問答無用で5秒に1回、あるいはDirtyページが多くなってきたなどの要因で、 カーネルスレッドの pdflush([pdflush] or flush-8:0 ？) が発動 (例外として、プロセ
Linus Torvalds、 GCC 4.9.0のコード生成にブチ切れる
Phoronixで知ったが、Linus TorvaldsがGCC 4.9.0のコード生成にブチ切れている。 問題はLinuxカーネルのload_balance()がランダムにパニックを起こすというもので、その原因は、報告者の使っているコンパイラーであるGCC 4.9.0のコード生成がおかしかったという話だ。 Linus様は御自ら生成されたコードを読み給い、平生と変わらぬ調子で物事の道理を示された。 Linux-Kernel Archive: Re: Random panic in load_balance() with 3.16-rc From: Linus Torvalds Date: Thu Jul 24 2014 - 14:47:25 EST On Wed, Jul 23, 2014 at 6:43 PM, Michel DÃnzer <michel@xxxxxxxxxxx> wro
mmapのほうがreadより速いという迷信について - kazuhoのメモ置き場
@ITに以下のような記事が出て、 今回からしばらくの間は、まったく逆の例、つまり使うとプログラムの処理性能が上がるというシステムコールを紹介していく。システムコールを呼ぶ回数は少ない方が処理性能は高くなるという原則は変わらないが、呼び出しておくと処理性能が向上するシステムコールというものが存在するのだ。こうしたシステムコールを使わないでいることは、とてももったいない。 今回紹介するシステムコールは「mmap(2)」だ。ここでは詳しく仕組みを解説しないが、mmap(2)は、プログラムの処理性能に必ず良い影響を与える。 やはりあった？ 高速化に効くシステムコール (1/2)：知ってトクするシステムコール（3） - ＠IT それを真に受けたのか、「Go言語でmmapシステムコールを使ったファイル読み込みの高速化検討とC言語のコンパイラの話 - ryochack.blog」のようなブログエントリも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Red Hat Customer Portal - Access to 24x7 support and knowledge
Linux kernel coding style — The Linux Kernel documentation
TOMOYOで学ぶ Kernel Watchの秘密
