Linux Kernelハッカーのためのディープな技術情報「linux-insides」が電子書籍化される | ソフトアンテナ
Linux Kernelに関する深い知識を提供していることで評判の技術資料「linux-insides」が電子書籍の形式でもダウンロードできるようになりました。現在ここから、ePUB(iPad、iPhone、Mac用)、MOBI (Kindle用)、PDF形式でファイルをダウンロードすることができます。電子書籍版は、GitBookを使って生成されたもので、内容はGitHubで提供されているものと同じみたいですがタブレット等で閲覧する場合には便利そうです。 また上記ファイルだけではなく、オンラインブック形式でも読むことが出来、こちらも直接GitHubで読むよりは読みやすくなっています。 ちなみに、linux-internalsの内容は、先日「Kernel booting process」の解説が完了した後、今は「Kernel initialization」(ブート後のKernelの初期化処理
【Linux】カーネルのwrite処理の流れ【pdflush】 - ichidou のブログ
2013-09-20 【Linux】カーネルのwrite処理の流れ【pdflush】 久々更新。備忘録も兼ねてメモ。 それとなくピンと来たので、メモ。こういったことは運用中のトラブルシューティングの キッカケになる可能性があるため、恒久的に覚えて然るべき。なにより、Linuxカーネルの動作が 少しでも分かったような気になるため、非常に楽しい。Linuxカーネルの write 処理の流れについて。 1. プロセスが write(2) システムコールを発行 2. write(2) 対象のデータをカーネルがページキャッシュに蓄積 3. カーネルが該当のページ(データ)にDirtyフラグを付与 4. 問答無用で5秒に1回、あるいはDirtyページが多くなってきたなどの要因で、 カーネルスレッドの pdflush([pdflush] or flush-8:0 ？) が発動 (例外として、プロセ
第5回 Linux Kernelメモリ管理最新動向［その1］ | gihyo.jp
2012年6月6日～8日にLinuxCon Japan 2012が開催されます。ここではLinux Kernelの最新技術の発表や議論がいろいろ行われるのですが、カンファレンスを楽しむ手助けとなる記事を…ということで、最近のLinux Kernelのメモリ管理の以下のトピックについて、2回に分けて紹介したいと思います。 今回は、 NUMA対応 組込みシステム向けの新機能 次回は ファイルシステム、デバイスと連携したエンハンス メモリ資源管理機能（cgroup） CleanCache を取り上げます。 それぞれ、LKMLでどのような提案があって、提案の理由は何か？ 現在はどうなっているのか？ ということを簡単に紹介したいと思います。 NUMA対応 性能エンハンス機能として現在議論されているのが、NUMAマシン上のアプリケーションのチューニング機能です。現在、全く別の方式が有名ハッカー2人から
第18回 Linuxカーネルのコンテナ機能 [7] ─ overlayfs | gihyo.jp
今回からはLXCがコンテナイメージを置く領域に使えるいろいろなストレージバックエンドを利用し、LXCを便利に使う方法を紹介していきます。 LXCでいろいろなストレージバックエンドを利用する方法を紹介する前に、今後コンテナでの利用が増えそうな、3.18カーネルで新たに追加されたoverlayfsについて紹介しておきましょう。 タイトルは「Linuxカーネルのコンテナ機能」としていますが、これまでの機能と同様にoverlayfsもコンテナ専用として使う機能ではありません。名前空間やCgroup以上にコンテナ以外でさまざまなシーンで使えそうですね。 overlayfsとは overlayfsはunion filesystemの実装の1つで、ディレクトリを重ね合わせて1つのディレクトリツリーが構成できます。 話題のDockerが持つ特長として、よくコンテナイメージの差分管理ができることが挙げられま
![第18回 Linuxカーネルのコンテナ機能 [7] ─ overlayfs | gihyo.jp](https://cdn-ak-scissors.b.st-hatena.com/image/square/3952b726985203aab0ce5c435da8248039ac56b1/height=288;version=1;width=512/https%3A%2F%2Fgihyo.jp%2Fassets%2Fimages%2FICON%2F2022%2F1998_linux_container2022.png)
Linuxカーネルに関する技術ドキュメント「Linux internals」の第2部が公開される | ソフトアンテナ
Linuxハッカーを目指す技術者に役立ちそうな技術ドキュメント「Linux internals」の第2部が公開されています(Hacker News)。これは前回紹介した第1部の続編となるドキュメントで、カーネルのセットアップが完了し、アセンブラ言語からC言語のmain関数がよびだされた後、を解説するものとなっています。 具体的には、プロテクトモード、起動パラメーターのzeropageへのコピー、コンソールの初期化、ヒープの初期化、CPUの検証、メモリの検出、キーボードの検出、Querying(様々な情報の取得)などのトピック関して解説されています。 次回第3部は、ビデオモードの設定と、その他プロテクトモードへ移行する前に行う各種準備、プロテクトモードへの移行を解説する予定となっています。
Linux カーネル開発に貢献するのは思いのほか簡単です
本記事の筆者、Konrad Zapalowicz は Cybercom Poland のソフトウェア開発者で、どちらかと言えば新しい Linux カーネル貢献者ですが、同時にランナーでもあります。彼の Web サイトは zapalowicz.pl です。 私は昨年デュッセルドルフで開催された Linux Con Europe において、Linux カーネル開発に参加するのがいかに容易かを人々に伝えるための講演を行いました。このテーマを退屈と感じるくらい聴衆が上級者だったらどうしようという私の心配をよそに反響は良く、このようなガイドラインやアドバイスは大歓迎だという意見を多数頂きました。会場の最大収容人数は約 30 名で、あまり大きな会場ではありませんでしたが、このテーマに関心を持ってくださる方が世の中にもっといるのではないかと感じています。そこで私はこのプレゼンをシリーズ記事にしようと決め
Docker と SO_REUSEPORT を組み合わせてみる。おそらくその1 - blog.nomadscafe.jp
SO_REUSEPORTはLinux Kernel 3.9からサポートされている機能で、複数のプロセス/Listenerから同じTCPポートをbind可能にして、Kernelが それぞれのプロセスに接続を分散してくれるという機能です。preforkなサーバはlistenしてからworkerをforkし、それぞれでacceptを行うという手順を踏みますが、SO_REUSEPORTを使えばその手順を踏まなくても複数プロセスから同じポートをListenして処理の並列性をあげたり、hot-depolyが実現できます。 Docker のHost networking機能とSO_REUSEPORTを使って、複数のコンテナから同じポートをbindできれば、コンテナのhot-deployができるんじゃないかと思ったので、試してみました。 SO_REUSEPORTについては以下のblogが参考になります。
mTCP使ってみた
mTCP enables high-performance userspace TCP/IP stacks by bypassing the kernel and reducing system call overhead. It was shown to achieve up to 25x higher throughput than Linux for short flows. The document discusses porting the iperf benchmark to use mTCP, which required only minor changes. Performance tests found that mTCP-ified iperf achieved similar throughput as Linux iperf for different packe
30日でできない 自作Linuxクローン開発 - るくすの日記 ~ Out_Of_Range ~
この記事は 自作OS Advent Calendar 2014 - Adventar 12/25の記事です。 一ヶ月程前からLinuxカーネルのコードを読み始めたので、解読ついでに自分でもカーネルを作ってみました。 とはいっても、まだ半分も完成してないです（） 当初は、30日でできる 自作Linuxクローン開発 を予定していたのですが、 予想以上の規模で、解読とフルスクラッチ開発を併行するのは結構大変でした... という訳で、現在実装できている所まで紹介します。 開発レポジトリはこちらです。 RKX1209/Abyon · GitHub (インストール方法や実行方法はここに書いてます) 実装した機能 プロセススケジューラー Runキュー ハードウェア割り込み(PIC 8259A) 遅延割り込み Tasklet グローバルタイマー(PIT) タイマーリスト 仮想ページング(IA-32 MMU
Linux Kernel Hack入門編 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2014の25日目ですヽ(=´▽`=)ﾉ 今回はLinux Kernel Hack入門編ということで入門的なことを書いてみたいと思います。 まず使用する環境ですけど最近出たばっかのFedora 21のWorkstationにしました。まあ、今回の内容的にはディストリビューションは問わないんですが、多くの人が馴染んでいるであろうfedora系というかパッケージマネージャがyumということでこれにしてみました。 自分は普段Arch Linuxなんですけど、こっちだとkernelのmake install時にちょっとしたスクリプトを書く必要があったりするのもあって、fedoraのほうが手軽かなというのもあります。 カーネルコード・リーディング ブラウザベースでコード・リーディング 読めるソースは大概メインラインのカーネルということになりますが
RubyのThread、Fiber、Kernel、forkで並列処理やプロセスの深淵へ
連載目次 前回の「RubyのFile／IOクラスで入力と出力、ファイルの読み取りと書き込み、フィルター作成」では、データの入出力について解説しました。連載第11回に当たる今回は、スレッド、ファイバー、プロセスといったトピックについて解説します。 ThreadクラスやFiberクラスを使うことで、Rubyでも並列処理を記述することが可能です。また、前回紹介したIOクラスを使うことで、Rubyプログラムからプロセスを生成して入出力を行えます。 さまざまなプログラミング言語では並列処理のための仕組みが使えるようになっています。もちろんRubyも例外ではなく、ThreadクラスやFiberクラスを使って並列プログラムを書くことができます。 また、RubyからOS固有のコマンドを別のプロセスとして実行したり、自分自身をfork（フォーク）して別プロセスとしてRubyプログラムを実行したりすることがで
第278回 Ubuntuカーネルとの付き合い方：Ubuntu Weekly Recipe｜gihyo.jp … 技術評論社
コンピューター上でUbuntuを動かすために必要になるLinuxカーネルは、Ubuntuにおいてもっとも重要なコンポーネントです。今回はそんなLinuxカーネルとUbuntuの関係について説明します。 Ubuntuカーネルのことを知ろう Ubuntuは「Linuxカーネル」を使ったLinuxディストリビューションの1つです。どのようなマシンのうえでUbuntuが動作するか、どのようなデバイスをUbuntuで使えるかは、ひとえにカーネルに懸かっているために、Ubuntuではサポート期間やサポート対象、導入する新機能などを考慮したうえで、LinuxカーネルにUbuntu独自の変更を加えてリリースしています。 たとえば、現在Ubuntuで使われているカーネルのバージョンは、次のコマンドで確認できます。 $ uname -rv 3.8.0-25-generic #37-Ubuntu SMP Thu
ipコマンドとnetnsでお手軽なテストクライアント作成 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2014の9日目の記事です。 ネットワークを使う機能でなにかしらテストしたいときに複数のクライアントが欲しい時がありますよね。大量アクセスをしたい場合はjmeterとかありますが、クライアントのIPアドレスも複数あったほうが良いケースもあると思います。kvm等でクライアントを複数作ってbridgeするという方法もありますが、それはちょっと重量級なのでもうちょい手軽な方法がないかなーというところです。 そこでお手軽な方法はなにかというところでネットワークネームスペース（netns）を使って見たいと思います。 ネットワークネームスペースとはなんぞや？という方はten_forwardさんがgihyo.jpで連載している「LXCで学ぶコンテナ入門 －軽量仮想化環境を実現する技術」の「第6回 Linuxカーネルのコンテナ機能［5］ ─ネットワーク
iostat はどのように %util を算出しているか(3) - ablog
iostat はどのように %util を算出しているか - ablog http://d.hatena.ne.jp/yohei-a/20130925/1380070554 と続いた iostat から Linux Kernel のブロックレイヤーへの旅は Etsukata blog: iostat -x の出力を Linux Kernel ソースコードから理解する のおかげでほぼ終わりを迎えました。 part_round_stats() では、その延長で、全てのリクエストがキューにいた時間の積算値を表すtime_in_queue と、デバイスがIOリクエストを発行していた時間を表す io_ticks を更新しています。io_ticksには前回のリクエスト完了から、今回のリクエスト完了までを加算し、time_in_queueにはそれに実行中のリクエスト数を掛けたものを加算しているのがわかり
5分で分かるDockerのキホン
全国100万人のImmutable Infrastructure職人のみなさんこんにちは。 もう誰も彼もがDockerなので、あんまりブログに書こうという気にもならなかったのですが、知り合いからリクエストを貰ったので、5分くらいで分かるようにかいつまんで概略を説明します。 Dockerとは詳しくは本家サイト見ればだいたい分かる。仮想化技術コンテナ単位でパッケージングVirtualBoxとかと違って高速、オーバーヘッドが少ない。chrootに近い。LXCには依存しなくなっているコンテナごとにIDが振られるコンテナは差分保存なのでロールバックも簡単一回作ればどこでも動く。JavaっぽいDockerfileでコンテナを作成するDockerfileの1行ごとにコンテナIDがフラれる動作環境Linux Kernel 3.8以降 64bit OSMacの場合はVirtualBoxの中で動かす形になる→
小さいLinux環境の作り方
小さいLinux環境の作り方 Presentation Transcript 小さい Linux環境の 作り方 Naomasa Matsubayashi 保存するアイコン フロッピーディスク 2000年代初頭 フロッピーディスクに必要な物が全部入った Linuxディストリビューションが流行った floppix http://floppix.com/ HAL91 http://chris.silmor.de/hal91/ tomsrtbt http://www.toms.net/rb/ 3.5インチフロッピーディスクの容量 1D 2D 1DD(Mac) 1DD 2DD(Mac) 2DD(PC-98) 2DD 2HD(PC-98) 2HD(PC/AT,Mac) 2ED 2TD 160KiB 360KiB 400KiB 360KiB 800KiB 640KiB 720KiB 1232KiB 1440
いま改めて問う、Linuxコミュニティの魅力 － ＠IT
2010/09/24 9月27日から29日にかけて、「LinuxCon Japan」カンファレンスが開催される。2009年10月に開催された、リーナス・トーバルス氏も参加しての「Kernel Summit」および「Japan Linux Symposium」の成功を受けて行われるLinux開発者向けのカンファレンスだ。IBMのDan Frye氏によるキーノートをはじめ、3日間にわたってさまざまな角度からLinuxに関するセッションが行われる。 これを機に、改めてLinux開発の魅力とは何か、関係者が一堂に会して議論する意味とは何なのかを、それぞれの切り口でLinuxの開発に携わってきた国内の技術者たちに聞いた。 「交流」「不愉快な時間が減る」――開発の魅力 そもそも、Linuxカーネルおよびその周辺の開発に携わることの魅力とはいったい何だろうか。 日立製作所 システム開発研究所 Linux
どうしてメモリはスワップするのか！？
こんにちは。斎藤です。 最近、新しいスキー板が欲しいなと思っています。現在使っているOGASAKAの板は5年目に入り、メーカーからこれ以上はチューンナップ(メンテナンス)はできないよ、と言われてしまいました。もし、次に買うなら、スノーボーダーの人と一緒にパウダーに飛び込みやすいセミファットタイプが良いのかなと考えています。皆さんのオススメ、ぜひ教えてください。 さて、今日はLinux Kernel上でのメモリ管理、特にページ回収(Page Reclaim)とスワップに絞り、「スワップの理由」「ページを回収する仕組み」そして「スワップの様子を観察する」の3点に分けてお話しします。「スワップするのが気持ち悪い」と考えている方は少なくないと思いますし、私もそう考えていた時期がありました。しかし、それは本当に悪い事なのか、今回掘り下げて行きます。 ※主な対象Kernelは2.6.32(Red Ha
Linuxカーネルにおけるネットワークスタック周りのChangeLog勉強メモ (2.6.0 ~ 2.6.20) - ゆううきブログ
最近，OSのネットワークスタックに興味があって，Linuxカーネルのネットワークスタック実装の変遷について調べてみた． 変更内容の粒度は割りと適当． TCPとかFireWallとかNIC周りは興味があるのでだいたい書いてる． Wireless系は興味ないので全部削ってる． ネットワークスタック周りだけでもかなり量が多かったので，とりあえず2.6.0から2.6.20までをまとめた． Linux 2.6.x 2.6.5 (2004/04/04) http://kernelnewbies.org/Linux_2_6_5 Netpoll infrastructure Netpollが導入された． Netpollは，I/Oシステムとネットワークシステムが完全には利用できないみたいな不安定な環境でカーネルがパケットを送受信できる仕組みのこと．受信したパケットがnetpoll宛かどうかをTCP/IPのヘ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
