linuxカーネルのIPフラグメント処理(1) - totofugaのブログ
IPフラグメント処理 第一フラグメント便乗攻撃を調べるためlinuxのIPフラグメント処理を調べてみた。 長くなりそうなのでとりあえずinet_fragmentのメモ ソースコード net/ipv4/ip_fragment net/ipv4/inet_fragment inet_fragmentはプロトコルに依存しない処理を実装して、 ip_fragmentはipプロトコルに関わる処理を実装している inet_fragment ネットワーク層のプロトコルに依存しないフラグメント処理をしている。 主にやっていることは下記の３つ フラグメント可されたパケットの管理 タイムアウト処理 リミット処理 procによるパラメータの設定 ipv4の場合、タイムアウト処理とリミット処理の閾値は下記proc経由で設定可能 /proc/sys/net/ipv4/ipfrag_time (フラグメント可されたパ
A reworked TCP zero-copy receive API [LWN.net]
LWN.net needs you!Without subscribers, LWN would simply not exist. Please consider signing up for a subscription and helping to keep LWN publishing In April, LWN looked at the new API for zero-copy reception of TCP data that had been merged into the net-next tree for the 4.18 development cycle. After that article was written, a couple of issues came to the fore that required some changes to the AP
ファイルシステムサイズの拡張時にデータベースアクセスがスローダウンする問題の解決 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、技術顧問のsatです。 サイボウズでは、ファイルシステムサイズ拡張時にデータベースアクセスがスローダウンするという問題に長年悩まされてきました。本記事では運用本部の藤田と深谷がこの問題を解決した流れについて報告いたします。問題を解決するために2人はLinuxカーネルを修正しました。修正は社内に閉じたものではなく、執筆当時の最新 Linuxカーネルであるv4.17にマージされています。 問題 以下の操作の後にデータベースへのアクセスが一時的にスローダウンする ブロックデバイスのサイズを拡張する 上記デバイス上にあるファイルシステムのサイズを拡張する 原因 linuxカーネルはブロックデバイスのサイズ変更(縮小および拡張)時に、当該デバイス上にあるファイルシステムのページキャッシュ(後述)を無効化する*1 解決方法 ブロックデバイスのサイズ拡張時にはページキャッシュを無効
RustでOSを書くプロジェクトもろもろ
2020/05/06更新： 新しい記事を書きました。こちらのほうがより新しい情報が乗っていると思います。 巷でよく聞くRustでOSないしベアメタルプログラミングの試みの備忘録。 Rustにはとても興味があってかつ大学での研究分野が低レイヤー系だったので面白そう思ったのだが、 いざやろうとしてみるといろいろなハードルがあるようで、ベストプラクティスも確立していないっぽい。 ので、とりあえず適当に漁った資料をまとめてみる C以外でのベアメタルプログラミング oruminさんのKernel/VM勉強会での発表のSpeaker Deck。自前のbinutilsとxargoを使ってベアメタルプログラミングしている RustでOSを書いてみる(環境構築編) - Qiita Introduction Rust for Creating Your Operating System - Qiita 実際に
仮想 I/O 高速化手法まとめ - かーねるさんとか
仮想 I/O の高速化手法についてまとめました。特にネットワーク I/O の高速化について調べました。 デバイスの仮想化 仮想マシンが利用するネットワークカードは多くの場合、QEMU のようなエミュレータによってエミュレーションされており、物理的なネットワークカードとのやりとりはホスト上で動作する仮想スイッチを介して行われます。*1以下に構成を図示します。 エミュレートされるデバイスは Intel の 1Gbps NIC 等、実際に存在するネットワークカードと、virtio-net のような、物理的なハードウェアが存在しないインターフェースがあります。 仮想化技術は大きく「完全仮想化」と「準仮想化」に分類されます。*2 完全仮想化によってゲストへ提供される環境は、ゲストからは、現実に存在する物理ハードウェアと全く同じように見えるようエミュレートされます。結果として、ゲスト OS は、仮想化
Why is the kernel community replacing iptables with BPF?
Apr 17, 2018Why is the kernel community replacing iptables with BPF? Author Note: this is a post by long-time Linux kernel networking developer and creator of the Cilium project, Thomas Graf The Linux kernel community recently announced bpfilter, which will replace the long-standing in-kernel implementation of iptables with high-performance network filtering powered by Linux BPF, all while guarant
Linuxのユーザーランドをinitから全てまるごとgolangで書く
1. 1 Linux のユーザーランドを init から全てまるごと Golang で書く Tetsuyuki Kobayashi 2018.4.15 Go Conference 2018 Spring 2. 2 The latest version of this slide will be available from here http://www.slideshare.net/tetsu.koba/presentati ons 3. 3 Who am I? 20+ years involved in embedded systems 10 years in real time OS, such as iTRON 10 years in embedded Java Virtual Machine Now GCC, Linux, QEMU, Android, …
Sequential File Prefetching In Linux
Earning a degree from the Department of Electrical and Computer Engineering at Wayne State University gives you the tools needed to create a faster smartphone, a thinner laptop or a more powerful automotive navigation system. Electrical and computer engineers design and build the gadgets people use every day, as well as the computer hardware within larger systems such as airplanes and robotic asse
【RHEL7】sysctlのカーネルパニックオプション - のぴぴのメモ
sysctlのカーネルパニックオプション panicの整理 panic系パラメータの関係 それぞれのパラメータの挙動 kernel.panic kernel.panic_on_unrecovered_nmi kernel.unknown_nmi_panic kernel.panic_on_io_nmi kernel.panic_on_warn kernel.softlockup_panic kernel.hung_task_panic kernel.panic_on_stackoverflow vm.panic_on_oom sysctlのカーネルパニックオプション ちょいとカーネルパニックをどう設定すればよいかという話があって、ためしにsyscltをpanicでgrepすると、意外にというかpanicに関するパラメータがバラバラ出てきてどうすればよいかイマイチわからない。 # sysct
ネットワークスタック高速化手法まとめ - かーねるさんとか
ネットワークスタックの高速化手法についてまとめました。 これらの手法が提案された背景には、10Gb NIC 等の高性能なハードウェアの値段が下がり、汎用化が進んだ一方で、汎用 OS のネットワークスタック実装では、それらの性能を十分引き出せないという問題があります。 特に、小さいパケットをやりとりするワークロードや、短い TCP コネクションをたくさん処理するようなワークロードで、10Gb, 40Gb のラインレートを達成するのが難しく、様々な解決策が提案されています。 システムコールバッチング システムコールは、ユーザー空間とカーネル空間のコンテキスト切り替えのための処理を必要とし、Web サーバーやキャッシュサーバー等の高速なメッセージの送受信が必要なシステムにおいて、性能劣化の原因となることが問題として指摘されています。 以下の論文では、システムコールバッチングをこの問題の解決策とし
ネットワークOS野郎 ~ インフラ野郎Night 20160414
1. (仮) このNetwork OS野郎!! ～ ネットワークOSの作り方 ～ 海老澤 健太郎＠Ponto Networks, Inc. Twitter: @ebiken (仮) このNetwork OS野郎!! ＠インフラ野郎Night おかわり｜ 2017/04/14 ｜ 海老澤 健太郎＠Ponto Networks, Inc. 1 2. (仮) このNetwork OS野郎!! ＠インフラ野郎Night おかわり｜ 2017/04/14 ｜ 海老澤 健太郎＠Ponto Networks, Inc. 2 世の中には２種類の野郎がいる （*） 野郎＝ジェンダーを問わず 3. (仮) このNetwork OS野郎!! ＠インフラ野郎Night おかわり｜ 2017/04/14 ｜ 海老澤 健太郎＠Ponto Networks, Inc. 3 自作する野郎 ネットワークOS（NOS）を 自
TIME_WAITに関する話
3. 自己紹介 - まぁまぁ MySQL でご飯食べてます - 一時期は Resource Monitoring や KVS にも 力入れてました - ネットワーク的には素人です - Linuxとハードウェアは嗜む程度 - disk I/O にはむかしから興味あります - その他 slideshare はこちら - http://www.slideshare.net/takanorisejima/ 4. 本日のお題 - kernel 新しくしたりすると、TCP的に意識したほ うが良い変化が見つかるので - 今日は、Webアプリケーションサーバの観点か ら、 connect(2) する際に気になる TIME_WAIT について、書いてみようかと思います - 有識者からのマサカリを、強く歓迎いたします 5. 最初に参考資料 - この二つの記事を読んでいただけば、それで概 ね良いと思うんですが
Cgroup2 Thread Support Added For Linux 4.14 - Phoronix
Cgroup2 Thread Support Added For Linux 4.14 Written by Michael Larabel in Linux Kernel on 5 September 2017 at 11:40 AM EDT. 3 Comments Tejun Heo has submitted the control group changes for the Linux 4.14 kernel. Notable to the cgroup work for Linux 4.14 is that the thread mode was finally merged for cgroup v2. The kernel documentation explains this threaded mode for cgroup2: cgroup v2 supports thr
Out of memory and no killable processes... のカーネルパニックを起こしたい - hibomaの日記
イントロ dsas.blog.klab.org こちらのエントリを拝見したのだが Out of memory and no killable processes... というログを出してカーネルパニックするケースがあるのだなと初めて知った。 幸いにして、過去に同様のメッセージを出すカーネルパニックには遭遇したことがない。あるいはログが取れてなくて気がつかなかっただけかもね! モチベーション 故意に異常を起こして、このカーネルパニックを見てみたい 🔥💀 Out of memory and no killable processes ... のコード 該当のログを出してカーネルパニックするコードは out_of_memory に書かれている (ソースは CentOS7.4 1708 ) /** * out_of_memory - kill the "best" process when w
Software interrupts and realtime [LWN.net]
The Linux kernel's software interrupt ("softirq") mechanism is a bit of a strange beast. It is an obscure holdover from the earliest days of Linux and a mechanism that few kernel developers ever deal with directly. Yet it is at the core of much of the kernel's most important processing. Occasionally softirqs make their presence known in undesired ways; it is not surprising that the kernel's freque
Playing with kernel TLS in Linux 4.13 and Go
06 Sep 2017 Playing with kernel TLS in Linux 4.13 and Go Linux 4.13 introduces support for nothing less than... TLS! The 1600 LoC patch allows userspace to pass the kernel the encryption keys for an established connection, making encryption happen transparently inside the kernel. The only ciphersuite supported is AES-128-GCM as per RFC 5288, meaning it only supports TLS version 1.2. Most modern TL
技術顧問に聞いてみた──小崎資広さん、武内覚さんインタビュー - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。コネクト支援チームの風穴（かざあな）です。 この度、あの小崎資広さん、武内覚さんに、サイボウズの技術顧問に就任していただくことになりました。 小崎さんは、日本を代表するLinuxカーネル開発者の一人です。また武内さんも、Linuxカーネル開発者として知る人ぞ知る存在で、最近では、AMD Ryzenプロセッサの問題を追究したことでも注目を集めました。 ということで、さっそくお二人にお話を伺ってきました。 サイボウズSREチームのメンバーと（前列左から4人目が小崎資広さん、同5人目が武内覚さん） ──そもそも、このお話の経緯は？ 小崎さん（以下、敬称略）：山本さん（編注：山本泰宇、サイボウズ執行役員・運用本部長）から、「技術顧問になっていただけませんか？」とオファーをいただきまして。 ──それまでは、山本とは知り合いでした？ 小崎：以前、2、3回、お会いしたことがあり、お名前は認識
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.kernel.org/doc/Documentation/networking/proc_net_tcp.txt
https://elinux.org/images/7/73/CELFJP-Jamboree63-handa-ja.pdf
Netdev | Netdev 2.2 - Session