開発メモ: Kyoto Cabinetのロック機構の改善
Kyoto CabinetはIO負荷が高い場合にCPU負荷も高くなりがちだという指摘を受けて、それを解決すべくロック機構を見直したという話。 スロットロック ハッシュテーブルの操作はハッシュバケット毎に完全に独立して実行できるのが強みだ。ハッシュテーブルは計算量が有利なだけでなく、並列性にも優れるということ。実際には下層のファイルIOで実装依存の排他制御が行われることになるが、ハッシュ層だけ見れば理想的な並列性を備えている。ただし、同じバケットに連なるレコード群の操作は互いに依存関係があるので、それらは一括して排他制御してやる必要がある。となると、バケット毎にロックを用意するのが理想だが、実際にはメモリを節約するために、予め決めた数のロックを用意して、ここのロックに複数のバケットを割り当てる構成をとる。リソース空間をスロットに分けるというイメージから、これをスロットロックと呼ぼう。 スロッ
android.git.kernel.org Git
To clone one of these trees, install git, and run: git clone git://android.git.kernel.org/ + project path. To clone the entire platform, install repo, and run: mkdir mydroid cd mydroid repo init -u git://android.git.kernel.org/platform/manifest.git repo sync For more information about git, see an overview, the tutorial or the man pages.
Kernel/VM Advent Calendar ４日目: Linuxのネットワークスタックのスケーラビリティについて - syuu1228's blog
【お願い】私はLinuxカーネルもネットワーク周りも素人です。ここに書いてある事は間違えている可能性もあるのでおかしいなと思ったらすかさず突っ込んでください。宜しくお願い致します。 今回は、この記事の内容を全面的に見直して、再度Linuxのネットワークスタックのスケーラビリティについてまとめようと思います。 従来のLinuxネットワークスタック＋従来のシングルキューNIC 以下の図は従来のLinuxネットワークスタック＋従来のシングルキューNICで、あるプロセス宛のパケットを受信している時の処理の流れを表している。フォワーディングの場合やプロトコルスタック内の処理は割愛した。 プロセスがシステムコールを発行してからスリープするまで プロセスは、システムコールを通してカーネルにパケットを取りに行く。 パケットはソケット毎のバッファに貯まるようになっているが、バッファが空だったらプロセスはパケ
epollのなかみ - moriyoshiの日記
よく C10K 問題とかいって epoll(7) の話が出てきて select(2) 遅いね poll(2) 遅いねってなるんだけど、正直なところ、これらのシステムコールを実際に使ってコードを書いてみたひとはどのくらいいるのだろう。ましてや eventpoll が何やってるか知っている人はそんなに多くないんじゃないだろうか。もう O(n) だの O(1) だのって煙に巻かれるのもうんざりだ。 というわけで、2.6.26 の fs/eventpoll.c のコードを読んでみた。正直 Linux カーネルにすごく詳しいわけでもないので、誤りがあったら適宜突っ込んでもらえると幸いです。 前提知識として VFS モジュールがどうなってるかとかは LinuxのFSモジュールを書いてみる LinuxのFSモジュールを書いてみる (その2) のソース中のコメントを追ってもらえればと。 登場する構造体 e
軽量スレッドブームだと思うので、そこらへんの情報をまとめてみる - 金利0無利息キャッシング – キャッシングできます - subtech
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
インターネットサーバでのPthreadとepoll（1）
本連載ではシステムコールプログラミングの例も掲載していく予定ですが、本記事ではLinuxに追加されたepollを採りあげ、インターネットサーバでのPthread利用と比較してみます。 はじめに マルチスレッドプログラミングが普及し、POSIX threadも制定され、Pthreadの利用は目新しいものではなくなりましたが、スレッドにまつわる迷信や誤った認識を、だいぶ減ったとはいえ、今でもたびたび耳にします。例として、 スレッドはプロセスよりも軽いので、多数作成しても軽快に動作する スレッドはプログラミングを簡単にしてくれ、1つの処理だけに集中できる などがあります。しかし、これらは常に真であるとは限りません。本記事ではマルチスレッドの概念や入門を繰り返すのではなく、その利用方法をHTTPサーバのサンプル実装を基に考察します。更にLinuxに追加された独自機能のepollインタフェースを用い
SolarisのネットワークスタックってSMPに強いのん？ - syuu1228's blog
「SolarisのネットワークスタックはSMPに強い」という噂を聞いていたので、取り敢えずどんな感じなのか資料を斜め読みしてみた。 Solarisとか全ッ然知らないので、間違ってたらツッコミ下さい。 資料： Oracle and Sun Microsystems | Strategic Acquisitions | Oracle OpenSolaris 最新動向とプロジェクト Crossbow の威力 1990年代後半以降、サーバーは、多数の CPU を実行する SMP ベースになった ミッドエンドマシンからハイエンドマシンが NUMA 主体となったため、CPU の切り替え処理のコストが高くなった 従来のSolarisのTCP/IPスタックの問題点 設計上 CPU と密接に関係していないため、特定の接続のパケットがさまざまな CPU の間を移動してしまう マルチスレッドには対応している
じゃあ、Linuxのネットワークスタックはどうなのん？ - syuu1228's blog
この記事の続きになる訳だが、いくらSolaris最強って言っても、大手メーカーがこぞってつつき回して性能改善したり機能追加したりしてるはずのLinuxで何も対策が打たれてない訳が無いよね。じゃあどうなってるんだろう、って話。 例によって、Linuxとか全ッ然知らないので、間違ってたらツッコミ下さい。 ポーリングとパケット処理のパス 殆どここで解説し尽くされてる。 Linuxにも動的ポーリングの実装（Solarisで言ってる動的ポーリングと同じものとは限らないが…）があって、NAPIとか呼ばれてるらしい。 NAPIを実装するドライバでは、こんな手順で受信処理を行ってる。 ハードウェア割り込みを受け、割り込みハンドラを起動 ハードウェア割り込みを禁止、ポーリングをスケジュール ソフトウェア割り込み経由でNAPIのポーリングルーチンを起動 ドライバにポーリングを指示 この時、適切な性能を確保する
KVM Forum 2010 - KVM
KVM Forum 2010 (Aug 9-10, 2010) The place to be if you are interested in or involved with KVM development. Come together, talk about the current and future state of KVM. Learn. Share ideas. Influence the future of KVM. CFP KVM Forum 2010 CFP (now closed, see Schedule) Registration The KVM Forum 2010 is co-located with the Linux Foundation's LinuxCon in Boston. Registration for the KVM Forum also i
ESX4.0 におけるUSBデバイスの認識について
はじめまして、vSphere4.0の検証にて挙がった疑問点があります。 USBのプロテクトドングルが仮想マシンに接続できません。 状況は以下の通りです。 ホストとして使用したマシンは、DL380G5 にCPU（Xeon 5120＊１）を搭載したマシンです。 そこにESX Server4.0をインストールし、VMwareServer1.0.8で動作していた RHEL4.0をvCenter Converterで変換した仮想マシンを搭載しました。 仮想マシンを起動し、ネットワーク接続を確認した後、 ホストにUSBのプロテクトドングルを接続しました。 ホストには［lsusb］コマンドで認識されている事は確認できました。 しかし、仮想マシンで［lsusb］コマンドを実施しても対象のUSBデバイスを認識できませんでした。 何に問題があるのか不明の為、御教授お願いいたします。
イベントインターフェースの分類 - .mjtの日記復帰計画
修論ではmoshのFFIとyuniSchemeから移植したFFI Threadsを使ってやっていたイベント処理だけど、フレームワーク自体は他の言語でも有用と考えられるので、C言語で書きなおしてライブラリとして整備することにした。その方がmoshにも取り込みやすいと考えられる。 アイデアとしては、デバイスやネットワークを接続する"ピタゴラマシン"を作るためのライブラリということになる。"ピタゴラマシン語"として制限されたScheme(yuniScheme)を採用し、そのインタプリタも含む。これにより、GCの遅い*1moshでも、セミ-リアルタイムの処理が可能になると考えている。 難しい問題は、多岐に渡るイベントインターフェースを統合しなければならないという点で、様々なライブラリが、本当に様々なセマンティクスを提供している。 libemitでwrapしたいライブラリを3種類に分類した。libe
ゴルフ場のなかみ (そのに) 08:03 2009-11-28 - 兼雑記
最近ゴルフ場を新しいマシンに引越したので、前回の記述より色々とよくなった部分もあるので、それについて書いてみます。といっても sandbox についてだけですが。 http://github.com/shinh/ags/blob/master/be/modules/sandbox.c 新しい sandbox は、 arcus-judge のシステムのやってることをまんまパクった部分が多いです。 kernel いじっちゃうとメンテ大変そうだなーと思ったので module でやってるのと、全体的に色々雑なのが大きな違いです。 http://code.google.com/p/arcus-judge/wiki/ArcusSandbox kernel module での system call のフックは、 /boot/System.map-2.6.26-2-xen-686 を見て sys_cal
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenZFS on Linux
Node crashing handling and VM statistics | ioremap.net | Page 454
Director 5.20 マニュアル
IBM Developer
New Xen Documentation | Xen Project Blog
KMC Staff Blog:qemu
lxc とは何ぞや？ - 今年最後のネタです。
Protecting OSs from RootKits - Schneier on Security