低レイヤーの歩き方 - るくすの日記 ~ Out_Of_Range ~
この記事は Kobe University Advent Calendar25日目の記事です。 低レイヤー技術(後述)をこれから学びたい人向けの入門記事です。 自身の経験を踏まえ、より多くの人達にこのレイヤーに興味を持ってほしくて書きました。 決して卒論がやばくてAdvent calendarのネタが作れなかったわけでは(ry なぜこんな記事を書いたか いわゆるシステムプログラミングのような低レイヤー(と言って差し支えない)ジャンルって一体何から始めれば良いのかいまいちピンと来ないし、何が面白いのかも分からないと思われている事が多いと思います。 にもかかわらず低レイヤーの魅力や学び方の指針みたいな物を示した、いわゆる入門記事ってかなり少ないんですよね。 本記事はこれからシステムプログラミングを始めたい方や、既にかじってみたが中々先が見えてこない、将来何の役に立つのか不安という方達に読んでい
Linux スケジューラーのコア実装とシステムコール - Qiita
はじめに これは Linux Advent Calendar 2016 の第 11 日目の記事です。Linux のタスクスケジューラーのソースコードや関連するドキュメントなどを読んで分かったことをまとめました。とても長いです・・・ はじめにスケジューラーのアーキテクチャと重要な概念を紹介し、その後はスケジューラーコアとシステムコールの実装について分かったことを延々と述べます。調べきれなかったことや分からなかったことは TODO に残したので、コメント欄とかツイッターで教えてもらえると嬉しいです。間違いの指摘も大歓迎です。 ちなみに私が読み始めたきっかけは、スケジューラーのアーキテクチャ、スケジューリングアルゴリズム、スケジューリングアルゴリズムの切り替え方、nice 値やプロセッサアフィニティがスケジューリングに及ぼす影響、プリエンプションの流れ、マルチプロセッサにおけるタスクのロードバラ
カーネルモジュール作成によるlinuxカーネル開発入門 - 第一回 hello world - Qiita
はじめに 本記事の内容はUbuntu16.04でのみ確認しています。同名の電子書籍においてはUbuntu 18.04に対応しています。 本記事の目的は、linuxのカーネルモジュール(以下カーネルモジュール)というものの作成を通じてlinuxカーネル(以下カーネル)の開発に最低限必要な知識をつけることです。C言語のポインタがわかる程度の開発スキルがあれば多分読めると思います。 本記事は、過去にセキュリティ&プログラミングキャンプ2010というイベントの中のLinux開発者育成コースにおいて使用した資料を加筆、修正したものです。１つの記事に納めるのは無理がある分量なので、(不定期)連載という形式をとることにしました。 本記事に記載されているコードを実際に試すためには、仮想化機能を持つCPUを搭載したPCにインストールされたUbuntu16.04が必要です。CPUの仮想化機能を持っているどうか
Linuxプロセスとカーネル読解のとっかかり - Qiita
概要 Linux Kernelを読み解くためのとっかかりとしてLinuxのプロセスの理解(SoftwareDesign2014年8月号の特集参照)に焦点をあててみたいと思います。プロセス、スレッド、CPUについての話の後、最新カーネルのダウンロードからちょっとした中身の確認までやります。サンプルコードもありますが、サービス影響のあるサーバでは実行しないでください。 プロセスとスレッド プロセスとは Linux上で動いているプログラム スレッドが無い時はプロセスが実行単位 スレッドとは Linuxプロセスにおけるスレッド 「1つのプロセスの中で複数の実行単位を持てるように機能拡張したもの」(SoftwareDesign2014年8月号) CPUにおけるスレッド 「最小の処理単位」 プロセス2が終わった後に処理できるプロセス3がある例 スレッドを利用しない場合(左図) プロセス2の処理が終わる
BPF for lightweight tunnel infrastructureについて調べてみた - Qiita
はじめに このエントリはLinux Advent Calendar 2016の5日目の記事として書かれました。 bpf: BPF for lightweight tunnel infrastructureという機能が最近net-nextにマージされました(つまり特に問題なければ4.10でマージされる予定)。トンネルにどうBPFが使われているのか興味があったので調べてみました。 関係するコミットは以下の3つです。 bpf: BPF for lightweight tunnel infrastructure bpf: Add tests and samples for LWT-BPF Lightweight & flow based encapsulation 背景知識 まずBPFとlightweight tunnel infrastructure (lwtunnel)について調べました。 B
Linuxカーネルのライブパッチを使ってテスト用のstubを作る - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2016の1日目の記事です。 テストする時にstubって便利ですよね。最近はnodejsで仕事のコードを書いているのでsinon便利だなとか思ってます。じゃあ、Linuxカーネルでもstub作れたら便利だよねという思うわけです。そうすると、我々にはlivepatchという機能があります。 というわけで、Linuxカーネルのlivepatchを使ってstubを作れるようにしてみようと思ったのが今回の記事のネタです。 今回のコードはLinux 4.9.0-rc4で動かしています。 stub機能の前提としてlivepacthを使うのでstubのコードはlivepatch方式でカーネルモジュールとして作成します。どんな関数をどのようにstubするかはカーネルモジュールで決めるので、ここは使う人の自由となります。カーネル側はstubをするための機
format string attackめも - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
最近CTFとか興味出てきたので色々と遊んでます。 今回はOverTheWire: Narniaのレベル7の問題(narnia7.c)を元にformat string attackのメモです。 narnia7の脆弱性のある関数はこれです。formatはmain関数においてはargv[1]で参照されていたもので、ユーザーからの入力がそのままsnprintf(3)に渡ります。 int vuln(const char *format){ char buffer[128]; int (*ptrf)(); memset(buffer, 0, sizeof(buffer)); printf("goodfunction() = %p\n", goodfunction); printf("hackedfunction() = %p\n\n", hackedfunction); ptrf = goodfunc
第33回 cgmanagerとLXCFS ─ コンテナ内のcgroup管理［1］ | gihyo.jp
今回は、cgroupを操作したり、コンテナ特有の値の/proc以下のファイルを提供したりするLXC用のソフトウェアを紹介したいと思います。 LXCでは設定ファイル内でcgroupの設定を行い、コンテナに対するリソース制限を行います。この場合、cgroup操作はコンテナの外で行われますので、必ずしもコンテナ内でcgroupを操作する必要はありません。 しかし、LXCではコンテナ内でさらにコンテナを起動する「コンテナのネスト」をサポートしています。この場合、コンテナ内で起動するコンテナに対してリソース制限を行うために、コンテナ内でcgroupを操作する必要がでてきます。つまりコンテナ内でcgroupfsツリーを操作しなければなりません。 LXCでは、最初に第11回で説明したlxc.mount.autoという設定を使用して、ホストのcgroupfsをバインドマウントすることにより、コンテナ内にc
Linuxカーネルをビルドしてみる
自作OSもくもく会の二回目に参加した。 前回は昔写経していたはりぼてOSを再び動かせるようにして自作OSの仕方を思い出すということをしていたが、今回は趣向を変えてLinuxをビルドするというのをしてみた。 Linuxのビルドの仕方とか全然わかってなかったので、「絶対わかる! Linuxカーネル完全入門」という本の中の、「スクラッチから作る自分だけのOS」という、Linuxのソースをビルドしてディストリビューションを作るという節を参考に作業してみた。 開発環境構築記事ではFedora 18（32ビット版）を開発環境としているので、同じ環境を用意するためVagrantでセットアップ： $ vagrant init fedora-18 http://static.stasiak.at/fedora-18-x86-2.box # Vagrantファイルで共有フォルダの設定を追加する： # conf
Kernel Cookbook
The Kernel Cookbook: Advice on Covariance functions by David Duvenaud Update: I've turned this page into a chapter of my thesis. If you've ever asked yourself: "How do I choose the covariance function for a Gaussian process?" this is the page for you. Here you'll find concrete advice on how to choose a covariance function for your problem, or better yet, make your own. If you're looking for softwa
連載記事 「知ってトクするシステムコール」
システムコールについてどれくらいご存じですか？ 連載：知ってトクするシステムコール（1） 難しいものと思われがちなシステムコール。しかし、学べばトクすることがいろいろあるんですよ
いますぐ実践! Linuxシステム管理
「いますぐ実践! Linux システム管理」はこちらです。 メルマガの解除、バックナンバーなども、以下からどうぞ。 https://www.usupi.org/sysad/ (まぐまぐ ID:149633) その他、作者に関するページは、概ね以下にございます。 https://www.usupi.org/kuri/ (まぐまぐ ID:126454) http://usupi.seesaa.net/ (栗日記ブログ) https://twitter.com/kuriking/ (twitter) https://facebook.com/kuriking3 (facebook) https://jp.pinterest.com/kuriking/pinterest) https://www.instagram.com/kuri_king_/ (instagram) [バックナンバーのトップへ
LinuxFromScratchで自作ディストリビューションづくり
このシリーズは、オープンソースの力を借りて、自作ディストリビューションを作成するというものにしていきます。 やることは、Linuxのホストマシン上でコマンドを発行することを積み重ねて、自分だけのLive CD を作り上げ、そこからハードディスクにインストールする、です。 ニックネーム たいちょう です。 ここ、テクノアークしまね は、山の上にあるので、目の前で紅葉が繰り広げられる様を楽しんでいます。 みなさん、年末年始が近いですが、どんなITライフを送っていますか？ え、時間もたっぷりあるし、OSでも作りたいもんだって？ それ、いきましょう。 このシリーズは、オープンソースの力を借りて、自作ディストリビューションを作成するというものにしていきます。 やることは、Linuxのホストマシン上でコマンドを発行することを積み重ねて、自分だけのLive CD を作り上げ、そこからハードディスクにイン
@IT Linux Square「LFSで作って学ぶLinuxの仕組み」
【 pidof 】コマンド――コマンド名からプロセスIDを探す （2017/7/27） 本連載は、Linuxのコマンドについて、基本書式からオプション、具体的な実行例までを紹介していきます。今回は、コマンド名からプロセスIDを探す「pidof」コマンドです。 Linuxの「ジョブコントロール」をマスターしよう （2017/7/21） 今回は、コマンドライン環境でのジョブコントロールを試してみましょう。X環境を持たないサーバ管理やリモート接続時に役立つ操作です 【 pidstat 】コマンド――プロセスのリソース使用量を表示する （2017/7/21） 本連載は、Linuxのコマンドについて、基本書式からオプション、具体的な実行例までを紹介していきます。今回は、プロセスごとのCPUの使用率やI/Oデバイスの使用状況を表示する「pidstat」コマンドです。 【 iostat 】コマンド――I
機械学習論文読みメモ_8 - Qiita
The Kendall and Mallows Kernels for Permutations, ICML2015 置換に関する正定値カーネルについて考える。 このカーネルは２つの順位間の相関性を扱う。 置換は順位予測問題において活躍する。 しかし単純には要素数の階乗個パターンを考慮するため計算量が問題になる。 置換に関するカーネルを利用する事でこの問題に取り組む。 カーネルトリックの利用で、計算オーダーを下げる事ができ、大きな順位データを扱う上で有用である。 MRA-based Statistical Learning from Incomplete Rankings, ICML2015 変数が多い場合において、一部の順位データが得られる時の解析を扱う。 この時の順位モデルとして、multi resolution analysis(MRA)に基づくモデルをこの一部だけ得られているデータ
linux-insides/interrupts-3.md at master · 0xAX/linux-insides · GitHub
Interrupts and Interrupt Handling. Part 3. Exception Handling This is the third part of the chapter about an interrupts and an exceptions handling in the Linux kernel and in the previous part we stopped at the setup_arch function from the arch/x86/kernel/setup.c source code file. We already know that this function executes initialization of architecture-specfic stuff. In our case the setup_arch fu
Linuxカーネルの新機能 XDP (eXpress Data Path) を触ってみる - yunazuno.log
先日netdev 1.2に参加してみたところ，XDP(eXpress Data Path)の話題で持ち切りといった感じだった． というわけで，XDPについて一通り調べつつ，実際に触ってみた． XDPとは何か？ 誤解を恐れずに一言で言うと，「Intel DPDKのような高速パケット処理基盤をLinuxカーネル自身が用意したもの」であると理解している．このスライドでは A programmable, high performance, specialized application, packet processor in the Linux networking data path と言っている． DPDKはユーザランドアプリケーションがNICを直接叩く(=カーネルのネットワークスタックをバイパスする)ことで高速処理を実現している．一方XDPは，カーネル内の最もNICドライバに近い場所でフッ
Linuxのカーネルモジュールがロードされるアドレス範囲 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
カーネルモジュールがロードされるアドレスって範囲決まってたはずだけど、自分で言っといてホントそうだったけ？とか思ったので確認。 @RKX1209 たしかmodule mapping spaceだと思った… https://t.co/4rH8h4G3rS— int $0x03 (@masami256) 2016年10月4日 調べるのはLinux 4.8。 まず、Documentation/x86/x86_64/mm.txtを確認して、以下のところをチェック。 22 ffffffffa0000000 - ffffffffff5fffff (=1526 MB) module mapping space で、この範囲にロードされるよねってとこです。 それでは、モジュールがどのように配置されるのかをコードで確認してみます。まずkernel/module.cのload_module()からみます。 こ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
masaf.me - Registered at Namecheap.com
Linux From Scratch