prefork サーバーと thundering herd 問題 - naoyaのはてなダイアリー
Catalyst を POE で動かす Engine の Catalyst::Engine::HTTP::POE という実装が CPAN にあります。"Single-threaded multi-tasking Catalyst engine " だそうです。"Single-threaded" と言いつつも実装を覗いてみると環境変数 CATALYST_POE_MAX_PROC を 1 よりも大きく設定することで prefork する実装になってます。POEシングルスレッドではアプリケーション内で発生するブロックを避けることが難しいのでそのための実装じゃないかなと思います。 ところでこの Catalyst POE エンジン、prefork の実装はどのように行っているかというと POE から prefork と名の付いたイベントが発生するとおもむろに子プロセスを生成する、というのもの。複数の
今「eBPFを使ったカーネルの拡張」が熱い！ eBPFで“カーネルを拡張できるおもちゃ”を作ってみた話
Kernel/VM探検隊は、カーネルやVM、およびその他なんでもIT技術の話題ジャンルについて誰でも何でも発表してワイワイ盛り上がろうという会です。西村啓佑氏は、eBPFを使ったカーネル拡張の開発について発表しました。 eBPFの概要 西村啓佑氏：あらためまして、mumumuです。「eBPFを使ったオレオレカーネル拡張入門」というタイトルで発表を始めます。今日の発表の目次は（スライドを示して）こんな感じです。 まず、eBPF（extended Berkeley Packet Filter）がけっこう背景になってくるのですが、概要としては、カーネルの中で動いているVM。Kernel/VMの両方を回収できるすごいやつなんですね。こいつは実行前にバイトコードを検証するので、安全に実行できるというのが売りです。基本的には、イベントトリガーで動作するプログラムになっていて、それぞれのイベントに対応す
仮想マシンのためのメモリ共有手法「ELISA」 メモリ分離を担保しつつ、低負荷で共有可能に
Kernel/VM探検隊は、カーネルやVM、およびその他なんでもIT技術の話題ジャンルについて誰でも何でも発表してワイワイ盛り上がろうという会です。yasukata氏は、仮想マシンのためのメモリ共有手法「ELISA」について発表しました。 仮想マシンで重要なメモリのアイソレーション yasukata氏（以下、yasukata）：yasukataといいます。「仮想マシンのためのVMFUNC命令を使ったメモリ共有手法」についてお話しします。 （スライドを示して）こちらは、2023年3月に「ASPLOS」という学会で発表したものです。内容は、「Exit-Less, Isolated, and Shared Access」、ELISAという仮想マシンのためのメモリ共有手法についてです。こちらのリンクに、論文、スライド、ソースコード、解説などがあるので、よければご参照ください。 まず、仮想マシンにつ
初心者のためのawkコマンド - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに 皆さん初めましてseahoseTです。 今回はLinux上で文字列を処理することに便利なawkについて紹介していきたいと思います。 目次 はじめに awkとは ここがすごいよ！awkのアレコレ！ awkの基本的な仕様 awkのコマンド パターン 正規表現 BEGIN,END 評価式 アクション awkの組み込み変数 awkのオプション awkの注意点 問題編：行の指定 解決編：行の指定 問題編：複数のパターンを使用する 解決編：複数のパターンを使用する 問題編：NRとFNR 解決編：NRとFNR 問題編：awkでシェル変数を使用する 解決編：awkでシェル変数を使用する awkの実践 おわりに awkとは AWK（オーク）は、プログラミング言語の一つ。 テキストファイル、特に空白類（スペースの他、タブなど）やカンマなどで区切られたデータファイルの処理を念頭に置いた仕様となっている
sed コマンド【使い方 まとめ】 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに 皆さん初めましてmonga3です。 今回はLinux上で文字列を処理することに便利なsedコマンドについて紹介していきます。 sedコマンドの基本から実務での使用方法を交えて説明します。 Linuxの理解をより深めたい方へ以下関連おすすめブログ ・ls コマンド 【使い方 まとめ】 ・find コマンド 【使い方 まとめ】 ・sed コマンド【使い方 まとめ】 ・ vi コマンド【使い方まとめ】 ・よく使うLinuxコマンド一覧【最新版】 ・ Linuxのファイル操作でよく使うLinuxコマンド ・ 初心者のためのawkコマンド ・ 実務で使える！基本的なシェル（Linux）コマンドの話 ～forとsed～ ・ 【Linux】今振り返りたい、プロセスって何？ 目次 はじめに 目次 sed コマンドとは 使い方 コマンド オプション アドレス 基本的な使い方 応用編 Linuxコマ
journald のログを永続化したい | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチンで構築する方法を紹介するイベントです。 https://tech-lab.connpass.com/event/311864/ ■おさらい：journald って何だっけ？journald は、システム管理ソフトウェア systemd のコンポーネント
産業用オレオレ Nerves マシン ExiBee の作り方（コンセプト編） - Qiita
これは #NervesJP Advent Calendar 2021の15日目です。昨日は @mnishiguchi さんの ElixirでPNGを画像をRGBA形式の行列に変換したいでした。 はじめに 以前より工場のいわゆる FA (Factory Automation) の現場に Nerves/Elixir を使えないかと画策してます。どうしてそういう気になったかは Elixir を使うようになった経緯 〜電力システム制御の現場から〜 にも書いているので御覧ください。 FAに Nerves を持ち込むにはいくつもの課題があります。その一つに動く堅牢なハードウェアが必要であるという課題があります。この点は Nerves に限らず Linux やらの GPOS (General Purpose Operating System) で動くマシン全般がそうです。工場で使うためには過酷な動作環境
「Linuxでアプリから直接画面を表示したい」 インスタンス拡張「VK_KHR_display」を使った、画面占有方法
Kernel/VM探検隊は、カーネルやVM、およびその他なんでもIT技術の話題ジャンルについて誰でも何でも発表してワイワイ盛り上がろうという会です。fadis氏は「低レイヤーから始めるGUI」をテーマに、長方形・画像・文字の描画を実装する方法を発表しました。全2回。前半は、インスタンス拡張「VK_KHR_display」を使って画面を占有する方法と、長方形と画像の描写方法について。 描画結果を画面に表示するまでの流れ fadis氏：こんにちは、松林です。今日はGUIの話をします。 画面になにかを表示したい場合、それはGPUを介して行うことになります。GPUというハードウェアは、大きく分けて2つの機能を備えています。1つはビデオメモリに書かれたイメージを画面に送って表示する機能、もう1つはビデオメモリ上で計算をする機能です。 Linuxを含むマルチタスクOSでは、複数のプロセスが同時に存在し
知っておくとちょっと便利！ファイル内の文字列を検索する grep コマンド | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチンで構築する方法を紹介するイベントです。 https://tech-lab.connpass.com/event/311864/ grep コマンドとはgrep コマンドは、ファイルの内容から特定の文字列を検索する事ができるコマンドです。 find コマ
メモ: 『Linuxで動かしながら学ぶTCP/IPネットワーク入門』
3章 Network Namespace - 1 helloworld ip netns コマンドでNetworkNamespaceの作成や操作が可能になる 作成したNetworkNamespace内で独自のネットワークを構築できる $ ip netns add helloworld $ ip netns list helloworld $ ip netns exec helloworld ip addr show 1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 $ ip netns delete helloworld # NSを作成 $ ip netns add ns1 $ ip n
ptraceより100倍以上高速なエミュレートを実現 バイナリの書き換えでシステムコールをフックする
Kernel/VM探検隊は、カーネルやVM、およびその他なんでもIT技術の話題ジャンルについて誰でも何でも発表してワイワイ盛り上がろうという会です。yasukata氏は、バイナリの書き換えで、システムコールをフックする「Zpoline」の仕組みについて紹介しました。 システムコールをフックしたくなった理由 yasukata氏（以下、yasukata）：yasukataといいます。発表を始めます。 今回は、「Zpoline」という、バイナリを書き換えることでシステムコールをフックする仕組みを紹介します。ここではx84-64のCPUで動作するLinuxを想定しています。（スライドを示して）ソースコードはこちらにURLがあるので、よろしければ見てみてください。あとでスライドも公開するので、そちらも併せてご覧ください。 まず、なぜシステムコールをフックしたくなったのかですが、個人的にカーネルに実装
Linux eBPFトレーシング技術の概論とツール実装 - ゆううきブログ
eBPF（extended Berkley Packet Filter）という用語を著者が初めてみかけたのは、2015年ごろだった。最初は、eBPFをその字面のとおり、パケットキャプチャやパケットフィルタリングを担うだけの、Linuxの新しいサブシステムであろうと認識していた。しかし、実際にはそうではなかった。 システム性能の分析のための方法論をまとめた書籍Systems Performance 1 の著者で有名なBrendan Greggが、Linuxのネットワークサブシステムとは特に関係ない文脈で、古典的なシステム性能計測ツールでは計測できないことを計測するツールを作っていた。その計測ツールがeBPFという技術によって実装されていることを知ったときに、eBPFに興味をもったのだった。また、eBPFは、システム性能を調べる用途以外にXDP（eXpress Data Path）と呼ばれるプ
Device Tree 入門 - Qiita
初心者のためのLinuxカーネル 誰でも理解できるチュートリアル！ デバイスツリーチュートリアル（ARM） 概要 Linuxカーネルは、起動しているボード（マシンタイプ）、使用しているすべてのデバイスのアドレス（デバイス/バスアドレス）、割り込み番号（irq）、mfpピン設定（ピンマックス）など、ハードウェア全体の説明を必要とします。 / gpios）メモリサイズ、カーネルコマンドラインなどのようなボードレベルの情報も… デバイスツリー以前は、これらの情報はすべてボードファイルの巨大なクラスタに設定されていました。 また、コマンドライン、メモリサイズなどの情報は、ブートローダによってATAGSの一部としてレジスタR2（ARM）を介して渡されていました。 マシンタイプは、レジスタR1（ARM）で個別に設定します。 現時点では、各カーネルコンパイルは特定のチップと特定のボードに対してのみ行われ
アプリケーションの巨大化で重要性を増す“hugepage” TLBヒット数を上げるLinuxのメモリ管理機能
Kernel/VM探検隊はカーネルや仮想マシンなどを代表とした、低レイヤーな話題でワイワイ盛り上がるマニアックな勉強会です。堀口氏からは「hugepage」の概要とカーネルコミュニティの開発動向について。 TLBの利用効率を上げるhugepage 堀口直也氏：「Linuxのhugepageの開発動向」について発表します。まず簡単に自己紹介です。私は堀口直也と申します。OSSコミュニティでの開発を軸に技術調査や評価、サポーターに従事しています。これまではカーネルコミュニティで、メモリ管理のコミュニティを中心に10年以上カーネル開発をしてきました。ここ数年はブロックチェーンのHyperledgerプロジェクトにも参加していて、ここでもOSSコミュニティで活動しています。 本日のLT（ライトニングトーク）は最初に「hugepage」の概要を話して、そのあとカーネルコミュニティの開発トピックについ
Cracking Kubernetes Node Proxy (aka kube-proxy)
Cracking Kubernetes Node Proxy (aka kube-proxy) Published at 2019-11-30 | Last Update 2021-02-03 TL; DR This post analyzes the Kubernetes node proxy model, and provides 5 demo implementations (within couples of lines of code) of the model based on different kernel infrastructures (userspace/iptables/ipvs/tc-ebpf/sock-ebpf). Related posts: Cracking Kubernetes Node Proxy (aka kube-proxy) Cracking Ku
はじめて学ぶデバイスドライバ開発。組み込みLinuxによるハードウェア制御の仕組みを学ぶ | APS｜組み込み業界専門メディア
現在の組み込みシステムは、たくさんのデバイスから構成されています。組み込みシステムに高い付加価値が求められる時流に伴い、ひとつの組み込みシステムには入出力デバイスはもとより、ネットワークデバイス、ストレージデバイス、セキュリティ管理デバイス、ユーザーから直接操作されることのない電源管理デバイスなど、様々な種類のデバイスが統合されています。これらのハードウェアを適切に運用するには、デバイスを製造したベンダーが定めた制御シーケンスに従い、ソフトウェアからデバイスを操作する必要があります。ここで活躍するソフトウェアモジュールが、デバイスドライバです。デバイスドライバは、デバイスベンダーが変わるたびにアプリケーションを再実装せずに済むよう、各デバイスの違いを吸収し、アプリケーションから使いやすいように機能を抽象化するソフトウェアです（図1）。 今回の初心者講座では、組み込みLinuxに同梱されてい
Dockerのマルチアーキテクチャイメージについて調べてみた | DevelopersIO
マルチアーキテクチャイメージを使えば、単一のDockerイメージ（タグ）で複数タイプのOSやCPUアーキテクチャに対応させられます。 Dockerのマルチアーキテクチャイメージについて調べる機会があったのでまとめてみました。 なお今回はデプロイ済みのマルチアーキテクチャイメージをプルして利用する観点でのまとめとなります。 マルチアーキテクチャイメージとは Dockerイメージは「マルチアーキテクチャ」という仕様をサポートしています。 Leverage multi-CPU architecture support Docker images can support multiple architectures, which means that a single image may contain variants for different architectures, and somet
Linuxカーネル4.1のメモリレイアウト（ドラフト） - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
はじめに ユーザプロセス空間とカーネル空間 x86_64のメモリレイアウト ダイレクトマップ(ストレートマップ）領域 vmalloc/ioremap領域 仮想メモリマップ %esp fixup stack カーネルテキスト領域 モジュールマッピング領域 vsyscall 固定マップ領域 はじめに 前回のLinuxカーネル4.1のSLUBアローケータ（ドラフト） - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモと同じくドラフト版公開です。 カーネルのバージョンは4.1系です。 文書自体も完成版ではないし、markdownから手作業ではてなblogにコピペして修正してるので章立てとか変になってるところとかあるかもしれませんが気にしないでください。 一部は文書修正してます。 ユーザプロセス空間とカーネル空間 Linux x86_64では48bit（256TiB）のアドレス空間を使用できます
何がOS実装の理解を難しくしているのか(GNU assemblyのポイント)
OS内部どうなってんのか知っといた方がいいんだろうなぁ、と思っている人向けになんか書きたいなぁ、と思って書きました。 OSを理解しようとすると、初回は挫折感をあじわって退場するのですが、原因いろいろあると思います。 C言語、アセンブリ(gnu assembly)、ELF, linker scriptの知識 boot処理時(の登場人物)で混乱する マルチタスク処理(switching, interrupt)がわからん OS自作しようぜ、みたいなはじめから強い本が多い まぁ、最後のは冗談として(自分は凡人なので..)、 https://github.com/mit-pdos/xv6-public (Unix V6のx86(32bit) implementation。以下xv6と呼びます) と https://pdos.csail.mit.edu/6.828/2018/xv6.html がとても
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
組み込みLinux｜Wind River Linux編 アーカイブ | APS｜組み込み業界専門メディア