Kernel/VM Advent Calendar ４日目: Linuxのネットワークスタックのスケーラビリティについて - syuu1228's blog
【お願い】私はLinuxカーネルもネットワーク周りも素人です。ここに書いてある事は間違えている可能性もあるのでおかしいなと思ったらすかさず突っ込んでください。宜しくお願い致します。 今回は、この記事の内容を全面的に見直して、再度Linuxのネットワークスタックのスケーラビリティについてまとめようと思います。 従来のLinuxネットワークスタック＋従来のシングルキューNIC 以下の図は従来のLinuxネットワークスタック＋従来のシングルキューNICで、あるプロセス宛のパケットを受信している時の処理の流れを表している。フォワーディングの場合やプロトコルスタック内の処理は割愛した。 プロセスがシステムコールを発行してからスリープするまで プロセスは、システムコールを通してカーネルにパケットを取りに行く。 パケットはソケット毎のバッファに貯まるようになっているが、バッファが空だったらプロセスはパケ
epollのなかみ - moriyoshiの日記
よく C10K 問題とかいって epoll(7) の話が出てきて select(2) 遅いね poll(2) 遅いねってなるんだけど、正直なところ、これらのシステムコールを実際に使ってコードを書いてみたひとはどのくらいいるのだろう。ましてや eventpoll が何やってるか知っている人はそんなに多くないんじゃないだろうか。もう O(n) だの O(1) だのって煙に巻かれるのもうんざりだ。 というわけで、2.6.26 の fs/eventpoll.c のコードを読んでみた。正直 Linux カーネルにすごく詳しいわけでもないので、誤りがあったら適宜突っ込んでもらえると幸いです。 前提知識として VFS モジュールがどうなってるかとかは LinuxのFSモジュールを書いてみる LinuxのFSモジュールを書いてみる (その2) のソース中のコメントを追ってもらえればと。 登場する構造体 e
インターネットサーバでのPthreadとepoll（1）
本連載ではシステムコールプログラミングの例も掲載していく予定ですが、本記事ではLinuxに追加されたepollを採りあげ、インターネットサーバでのPthread利用と比較してみます。 はじめに マルチスレッドプログラミングが普及し、POSIX threadも制定され、Pthreadの利用は目新しいものではなくなりましたが、スレッドにまつわる迷信や誤った認識を、だいぶ減ったとはいえ、今でもたびたび耳にします。例として、 スレッドはプロセスよりも軽いので、多数作成しても軽快に動作する スレッドはプログラミングを簡単にしてくれ、1つの処理だけに集中できる などがあります。しかし、これらは常に真であるとは限りません。本記事ではマルチスレッドの概念や入門を繰り返すのではなく、その利用方法をHTTPサーバのサンプル実装を基に考察します。更にLinuxに追加された独自機能のepollインタフェースを用い
じゃあ、Linuxのネットワークスタックはどうなのん？ - syuu1228's blog
この記事の続きになる訳だが、いくらSolaris最強って言っても、大手メーカーがこぞってつつき回して性能改善したり機能追加したりしてるはずのLinuxで何も対策が打たれてない訳が無いよね。じゃあどうなってるんだろう、って話。 例によって、Linuxとか全ッ然知らないので、間違ってたらツッコミ下さい。 ポーリングとパケット処理のパス 殆どここで解説し尽くされてる。 Linuxにも動的ポーリングの実装（Solarisで言ってる動的ポーリングと同じものとは限らないが…）があって、NAPIとか呼ばれてるらしい。 NAPIを実装するドライバでは、こんな手順で受信処理を行ってる。 ハードウェア割り込みを受け、割り込みハンドラを起動 ハードウェア割り込みを禁止、ポーリングをスケジュール ソフトウェア割り込み経由でNAPIのポーリングルーチンを起動 ドライバにポーリングを指示 この時、適切な性能を確保する
KVM Forum 2010 - KVM
KVM Forum 2010 (Aug 9-10, 2010) The place to be if you are interested in or involved with KVM development. Come together, talk about the current and future state of KVM. Learn. Share ideas. Influence the future of KVM. CFP KVM Forum 2010 CFP (now closed, see Schedule) Registration The KVM Forum 2010 is co-located with the Linux Foundation's LinuxCon in Boston. Registration for the KVM Forum also i
ゴルフ場のなかみ (そのに) 08:03 2009-11-28 - 兼雑記
最近ゴルフ場を新しいマシンに引越したので、前回の記述より色々とよくなった部分もあるので、それについて書いてみます。といっても sandbox についてだけですが。 http://github.com/shinh/ags/blob/master/be/modules/sandbox.c 新しい sandbox は、 arcus-judge のシステムのやってることをまんまパクった部分が多いです。 kernel いじっちゃうとメンテ大変そうだなーと思ったので module でやってるのと、全体的に色々雑なのが大きな違いです。 http://code.google.com/p/arcus-judge/wiki/ArcusSandbox kernel module での system call のフックは、 /boot/System.map-2.6.26-2-xen-686 を見て sys_cal
Amazon Web Services Developer Community : Updating an AMI's Kernel and Ramdisk
In order to upgrade your AMI to the latest kernel you will have to launch your existing AMI and rebundle it explicitly overriding the default bundling tools behavior - which is to use the instance meta-data service to determine your current kernel and ramdisk combination OR overriding the launch time kernel and ramdisk parameters. AWS Products Used: By way of example let's use the previous Fedo
ゴルフ場のなかみ - 兼雑記 (2009-09-29)
最近ゴルフ場を新しいマシンに引越そうとしていて、ついでなのでシステムをもうちょっと丁寧にパッケージ化しようとしてます。そのついでとして、現在のゴルフ場について内部がどうなってるか、ということを少しまとめてみようと思いました。 結構似たようなことをするサービスもあるんですが(codepadとかllevalとか)、そのへんのコードとかは全く参考にしてないので、そういうのを見た方がいいかもしれませんし、あとゴルフ場固有の事情も色々あったりするかもしれません。まぁでも日本語でそのへん書いてるのはあんまり見たことがないので、多少参考になる部分もあるかもしれません。 今作業中のコードは github に入れていっています。 apt で入らないパッケージの処理以外はだいたい入ってるはずですが、まだ足りないものとかあるかもしれません。 http://github.com/shinh/ags システム自体は
本を読む Ubuntu 9.04でノートPCを閉じたときにサスペンドするしくみ
とある飲み会の席で、「（CTWMの）DebianでThinkPadを閉じたときにサスペンドしてくれればいいのに」「あれ、この（GNOMEの）Ubuntu 9.04だと簡単にできるよ」という会話になったので、後からしくみを調べてみました。 結論としては、gnome-power-managerを中心に、halとかdbusとかのGNOMEを構成する機構を使いまくっているようです。 「Debian/etch で Gnome Power Managerをつかってサスペンドする」を参考にしながら、スクリプトやソースを眺めてみたので、あとから見返すためのメモを残しておきます。といっても、GNOMEではgnome-power-managerからDebiceKit-Powerに移行するとかいう話になっているようですが… 追記2009-06-15: 補足しておくと、これはUbuntu固有の話ではなくて、「Ub
ホワット・ア・ワンダフル・ワールド Linux の移植方法まとめ
前回のエントリで書いたように、今まで自分で実装した独自の ARM システムシミュレータに Linux を移植していたわけですが、シリアルドライバ (8250 コンパチ) と NIC ドライバ (smc91x) が動き、rootfile system on NFS が可能になって、ようやく一段落しました。 全くの素人が 2 週間ぐらいでできたので、（優秀なデバッガさえあれば） 世間一般で思われているほど難しく無いんだな～ というのが感想です （もちろん途中途中ではかなり悩みましたけど… しょーもないミスや誤解も無数にしました）。 難しいデバイスを動かそうと思ったらメチャクチャ大変なのだろうと思いますけど、今回は、全部自分で書いた仮想デバイスの上に移植したわけですから、動かし方などは完璧にわかりますし、いざとなったらハードウェアを printf デバッグして、ちゃんと I/O レジスタが叩けて
革命の日々！ Life's too short to read through all this, but...
https://bugzilla.mozilla.org/show_bug.cgi?id=421482 ------- Comment #123 From Andrew Morton 2008-05-22 21:26:02 PDT ------- Life's too short to read through all this, but... yes, ext3 does suck-by-design. Always has. I would commend the use of the sync_file_range() syscall on Linux. It can be used to sync a subsection of a file and will not trigger the write-the-whole-world behavior. It will just
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenZFS on Linux
IBM Developer
lxc とは何ぞや？ - 今年最後のネタです。
IBM Systems Energy Estimator
Linux Checkpoint-Restart - Gitorious
Xen.org and Linux Kernel Update | Xen Project Blog
heise online – IT news, guides and background information | heise online
IBM Developer
TOMOYO Linux 2.2.0 が Linus's git tree にマージされました。
