prefork サーバーと thundering herd 問題 - naoyaのはてなダイアリー
Catalyst を POE で動かす Engine の Catalyst::Engine::HTTP::POE という実装が CPAN にあります。"Single-threaded multi-tasking Catalyst engine " だそうです。"Single-threaded" と言いつつも実装を覗いてみると環境変数 CATALYST_POE_MAX_PROC を 1 よりも大きく設定することで prefork する実装になってます。POEシングルスレッドではアプリケーション内で発生するブロックを避けることが難しいのでそのための実装じゃないかなと思います。 ところでこの Catalyst POE エンジン、prefork の実装はどのように行っているかというと POE から prefork と名の付いたイベントが発生するとおもむろに子プロセスを生成する、というのもの。複数の
今「eBPFを使ったカーネルの拡張」が熱い！ eBPFで“カーネルを拡張できるおもちゃ”を作ってみた話
Kernel/VM探検隊は、カーネルやVM、およびその他なんでもIT技術の話題ジャンルについて誰でも何でも発表してワイワイ盛り上がろうという会です。西村啓佑氏は、eBPFを使ったカーネル拡張の開発について発表しました。 eBPFの概要 西村啓佑氏：あらためまして、mumumuです。「eBPFを使ったオレオレカーネル拡張入門」というタイトルで発表を始めます。今日の発表の目次は（スライドを示して）こんな感じです。 まず、eBPF（extended Berkeley Packet Filter）がけっこう背景になってくるのですが、概要としては、カーネルの中で動いているVM。Kernel/VMの両方を回収できるすごいやつなんですね。こいつは実行前にバイトコードを検証するので、安全に実行できるというのが売りです。基本的には、イベントトリガーで動作するプログラムになっていて、それぞれのイベントに対応す
仮想マシンのためのメモリ共有手法「ELISA」 メモリ分離を担保しつつ、低負荷で共有可能に
Kernel/VM探検隊は、カーネルやVM、およびその他なんでもIT技術の話題ジャンルについて誰でも何でも発表してワイワイ盛り上がろうという会です。yasukata氏は、仮想マシンのためのメモリ共有手法「ELISA」について発表しました。 仮想マシンで重要なメモリのアイソレーション yasukata氏（以下、yasukata）：yasukataといいます。「仮想マシンのためのVMFUNC命令を使ったメモリ共有手法」についてお話しします。 （スライドを示して）こちらは、2023年3月に「ASPLOS」という学会で発表したものです。内容は、「Exit-Less, Isolated, and Shared Access」、ELISAという仮想マシンのためのメモリ共有手法についてです。こちらのリンクに、論文、スライド、ソースコード、解説などがあるので、よければご参照ください。 まず、仮想マシンにつ
ptraceより100倍以上高速なエミュレートを実現 バイナリの書き換えでシステムコールをフックする
Kernel/VM探検隊は、カーネルやVM、およびその他なんでもIT技術の話題ジャンルについて誰でも何でも発表してワイワイ盛り上がろうという会です。yasukata氏は、バイナリの書き換えで、システムコールをフックする「Zpoline」の仕組みについて紹介しました。 システムコールをフックしたくなった理由 yasukata氏（以下、yasukata）：yasukataといいます。発表を始めます。 今回は、「Zpoline」という、バイナリを書き換えることでシステムコールをフックする仕組みを紹介します。ここではx84-64のCPUで動作するLinuxを想定しています。（スライドを示して）ソースコードはこちらにURLがあるので、よろしければ見てみてください。あとでスライドも公開するので、そちらも併せてご覧ください。 まず、なぜシステムコールをフックしたくなったのかですが、個人的にカーネルに実装
Linux eBPFトレーシング技術の概論とツール実装 - ゆううきブログ
eBPF（extended Berkley Packet Filter）という用語を著者が初めてみかけたのは、2015年ごろだった。最初は、eBPFをその字面のとおり、パケットキャプチャやパケットフィルタリングを担うだけの、Linuxの新しいサブシステムであろうと認識していた。しかし、実際にはそうではなかった。 システム性能の分析のための方法論をまとめた書籍Systems Performance 1 の著者で有名なBrendan Greggが、Linuxのネットワークサブシステムとは特に関係ない文脈で、古典的なシステム性能計測ツールでは計測できないことを計測するツールを作っていた。その計測ツールがeBPFという技術によって実装されていることを知ったときに、eBPFに興味をもったのだった。また、eBPFは、システム性能を調べる用途以外にXDP（eXpress Data Path）と呼ばれるプ
アプリケーションの巨大化で重要性を増す“hugepage” TLBヒット数を上げるLinuxのメモリ管理機能
Kernel/VM探検隊はカーネルや仮想マシンなどを代表とした、低レイヤーな話題でワイワイ盛り上がるマニアックな勉強会です。堀口氏からは「hugepage」の概要とカーネルコミュニティの開発動向について。 TLBの利用効率を上げるhugepage 堀口直也氏：「Linuxのhugepageの開発動向」について発表します。まず簡単に自己紹介です。私は堀口直也と申します。OSSコミュニティでの開発を軸に技術調査や評価、サポーターに従事しています。これまではカーネルコミュニティで、メモリ管理のコミュニティを中心に10年以上カーネル開発をしてきました。ここ数年はブロックチェーンのHyperledgerプロジェクトにも参加していて、ここでもOSSコミュニティで活動しています。 本日のLT（ライトニングトーク）は最初に「hugepage」の概要を話して、そのあとカーネルコミュニティの開発トピックについ
Cracking Kubernetes Node Proxy (aka kube-proxy)
Cracking Kubernetes Node Proxy (aka kube-proxy) Published at 2019-11-30 | Last Update 2021-02-03 TL; DR This post analyzes the Kubernetes node proxy model, and provides 5 demo implementations (within couples of lines of code) of the model based on different kernel infrastructures (userspace/iptables/ipvs/tc-ebpf/sock-ebpf). Related posts: Cracking Kubernetes Node Proxy (aka kube-proxy) Cracking Ku
はじめて学ぶデバイスドライバ開発。組み込みLinuxによるハードウェア制御の仕組みを学ぶ | APS｜組み込み業界専門メディア
現在の組み込みシステムは、たくさんのデバイスから構成されています。組み込みシステムに高い付加価値が求められる時流に伴い、ひとつの組み込みシステムには入出力デバイスはもとより、ネットワークデバイス、ストレージデバイス、セキュリティ管理デバイス、ユーザーから直接操作されることのない電源管理デバイスなど、様々な種類のデバイスが統合されています。これらのハードウェアを適切に運用するには、デバイスを製造したベンダーが定めた制御シーケンスに従い、ソフトウェアからデバイスを操作する必要があります。ここで活躍するソフトウェアモジュールが、デバイスドライバです。デバイスドライバは、デバイスベンダーが変わるたびにアプリケーションを再実装せずに済むよう、各デバイスの違いを吸収し、アプリケーションから使いやすいように機能を抽象化するソフトウェアです（図1）。 今回の初心者講座では、組み込みLinuxに同梱されてい
Linuxカーネル4.1のメモリレイアウト（ドラフト） - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
はじめに ユーザプロセス空間とカーネル空間 x86_64のメモリレイアウト ダイレクトマップ(ストレートマップ）領域 vmalloc/ioremap領域 仮想メモリマップ %esp fixup stack カーネルテキスト領域 モジュールマッピング領域 vsyscall 固定マップ領域 はじめに 前回のLinuxカーネル4.1のSLUBアローケータ（ドラフト） - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモと同じくドラフト版公開です。 カーネルのバージョンは4.1系です。 文書自体も完成版ではないし、markdownから手作業ではてなblogにコピペして修正してるので章立てとか変になってるところとかあるかもしれませんが気にしないでください。 一部は文書修正してます。 ユーザプロセス空間とカーネル空間 Linux x86_64では48bit（256TiB）のアドレス空間を使用できます
何がOS実装の理解を難しくしているのか(GNU assemblyのポイント)
OS内部どうなってんのか知っといた方がいいんだろうなぁ、と思っている人向けになんか書きたいなぁ、と思って書きました。 OSを理解しようとすると、初回は挫折感をあじわって退場するのですが、原因いろいろあると思います。 C言語、アセンブリ(gnu assembly)、ELF, linker scriptの知識 boot処理時(の登場人物)で混乱する マルチタスク処理(switching, interrupt)がわからん OS自作しようぜ、みたいなはじめから強い本が多い まぁ、最後のは冗談として(自分は凡人なので..)、 https://github.com/mit-pdos/xv6-public (Unix V6のx86(32bit) implementation。以下xv6と呼びます) と https://pdos.csail.mit.edu/6.828/2018/xv6.html がとても
eBPF and Kubernetes: Little Helper Minions for Scaling Microservices - @kanatakita's blog
KubeCon + CloudNativeCon Europe 2020 2日目 のセッションである eBPF and Kubernetes: Little Helper Minions for Scaling Microservices についてです。 スライド 以下のような内容でした。 eBPF についての初学者向けな説明 eBPF の歴史 eBPF の Kubernetes CNI 実装である Cilium について ※ 時系列を雑に日本語で起こしましたが知らないことばかりで都度調べながらの作業でした。 結局ほとんどスライドのままな気がしますが、それでも他の記事以上に誤りが多い気がするので間違っている箇所があったら優しく指摘してください・・笑 Challenges from OS kernel side 前半は eBPF を Linux に入れるまでの話？正直良くわからなかった・・
Linuxにおける新たなパケットフィルタリングツール「nftables」入門 | さくらのナレッジ
たとえば、かつてiptablesで設定していたIPv4に関連するパケットフィルタリング設定は、nftablesにおいては「ip」というアドレスファミリに紐付けたテーブルを作成することで設定できる。同様に、ip6tablesやarptables、ebtablesで設定していたものはそれぞれ「ip6」や「arp」、「bridge」というアドレスファミリに紐付けたテーブルで設定する。 「inet」「および「netdev」アドレスファミリはnftablesで新たに導入されたもので、まず「inet」はIPv4およびIPv6の両方を対象にした設定を行えるアドレスファミリだ。従来IPv4とIPv6の両方にまたがったフィルタリングルールを設定したい場合はiptablesとip6tablesの両方で同じようなルールを追加する必要があったが、nftablesではinetアドレスファミリで指定することで単一の設
Facebookはレイヤ4ロードバランサをIPVS(LVS)からXDPベースのものに乗り換えつつある - yunazuno.log
4月に開催されたnetdev 2.1で面白いセッションがあったのでメモ。 Facebookが使用しているレイヤ4のロードバランサに関する発表で、従来はIPVS (LVS) を使用していたが、XDPベースで自ら開発したものに移行しつつある、という内容。 XDP Production Usage: DDoS Protection and L4LB (slide) www.youtube.com XDP (eXpress Data Path) については以前のエントリで簡単に紹介した。 yunazuno.hatenablog.com XDPを改めて簡単に紹介すると、Linuxカーネルのネットワークスタックの最下部 (NICに一番近い場所) でパケット処理を行う仕組みのことで、オーバーヘッドが非常に小さい高速パケット処理の実現を目的としている。XDPはeBPFを用いており、eBPFが提供するmap
Linuxシステムコール徹底ガイド | POSTD
要約 この記事では、LinuxカーネルにてLinuxプログラムがどのように関数を呼び出すのかについて紹介していきます。 システムコールを行う様々な方法、システムコールを行うための独自のアセンブリの作成方法（例あり）、システムコールへのカーネルエントリポイント、システムコールからのカーネルイグジットポイント、glibcのラッパ関数、バグなど多くの点について説明します。 要約 システムコールとは？ 必要条件に関する情報 ハードウェアとソフトウェア ユーザプログラム、カーネル、CPUの特権レベル 割り込み モデル固有レジスタ（MSR） アセンブリコードでシステムコールを呼び出すことの問題点 レガシーシステムコール 独自のアセンブリを用いたレガシーシステムコールの使用 カーネル側での int $0x80 エントリポイント iret を使用したレガシーシステムコールからの復帰 高速システムコール 3
Æüµ/2009-05-02/kgdb ¤ò»È¤Ã¤Æ¤ß¤¿ - ¥Æ¥¥¹¥ÈÈÇ - BAK
ÀèÆü¡¤¥Ë¥³Æ°¤Ë¤³¤ó¤ÊÆ°²è¤òÅê¹Æ¤·¤Æ¤ß¤¿¤ó¤À¤±¤É¡¤¡Öʸ»ú¤¬Æɤߤˤ¯¤¤¡×¤È¤¤¤¦°Õ¸«¤¬Â¿¤«¤Ã¤¿¤Î¤Ç¡¤¥Æ¥¥¹¥È¤Ëµ¯¤³¤·¤Æ¤ß¤Þ¤·¤¿¡¥ ¥¿¡¼¥²¥Ã¥È¥×¥í¥°¥é¥àÆâ¤Ë¥¹¥¿¥Ö¤È¸Æ¤Ð¤ì¤ë gdb ¤Î¼êÀè¤òÁȤ߹þ¤ß¡¤Ê̤Υޥ·¥ó¤Ç gdb ¤òµ¯Æ°¤·¥Ç¥Ð¥Ã¥°¤ò¹Ô¤¦ÊýË¡¤Ï¡¤¥ï¥ó¥Á¥Ã¥×¥Þ¥¤¥³¥ó¤Î¥×¥í¥°¥é¥à³«È¯¤Ê¤ó¤«¤Ç»È¤ï¤ì¤Æ¤¤¤Þ¤¹¡¥ ¤³¤Î¡Ö¥¿¡¼¥²¥Ã¥È¥×¥í¥°¥é¥à¡×¤¬ Linux ¥«¡¼¥Í¥ë¤Î¾ì¹ç¡¤¡Ö¥¹¥¿¥Ö¡×¤ËÁêÅö¤¹¤ë¤â¤Î¤¬ kgdb ¤Ç¤¹¡¥ kgdb ¤Ï x86 ¥¿¡¼
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LXCで学ぶコンテナ入門 －軽量仮想化環境を実現する技術 記事一覧 | gihyo.jp
IBM Developer
IBM Developer
IBM Developer
IBM Developer