雑文：Linuxとか低レイヤが好きで趣味で色々やってたら趣味が仕事になったのと、知識が足りないとこを勉強しようと思って学生にもなった件 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
このブロクで使ってるカテゴリは↓のようになっていて、こいつLinuxとかカーネル好きだなって感じなんですが、前まではLinux自体は使うけどそれくらいでガッツリとLinuxに絡んだりとかはしてませんでした。 前職はこんな感じのところでnodejsなんかのコード書いてわけですね。 web系っぽい記事もたまに書いてましたよｗ qiita.com とまあ、前職はweb系だったわけですが今はLinuxがっつりな仕事になってます。転職したのは去年の12月ですけどね。Linuxが好きでいろいろやってきて、そこでやったことをblogに書いたりしたわけですが、それも今の仕事で役立つことがあったりとまあ何が役立つかわからないものですね。メモリ管理に興味を持ったり自作OSに興味を持ったり、CTFだったりと低レイヤ周辺をウロウロしてたけど基本的な部分はブレなかったのが良かった気がします。 継続は力なりなんて格言
Linuxのしくみ ~実験と図解で学ぶOSとハードウェアの基礎知識 読みました - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
著者の武内さんより「[試して理解]Linuxのしくみ ~実験と図解で学ぶOSとハードウェアの基礎知識」を献本いただきました。ありがとうございますm( )m 武内さんはQiitaなどでもわかりやすいカーネルの解説記事を書かれているので、記事を読んだことが有る方も多いかと思います。そして、今回「試して理解]Linuxのしくみ ~実験と図解で学ぶOSとハードウェアの基礎知識」というOS・ハードウェアのしくみを手を動かして学ぶコンセプトの本を書かれました。 gihyo.jp 本書の「実験と図解で学ぶOSとハードウェアの基礎知識」というコンセプトはOSの解説本にしては珍しいと思います。しかし、何かを学ぶ上で実際に手を動かしたほうが勉強になるということを考えるとこのコンセプトは良いですよね。 また、図解の部分も丁寧に解説されています。第5章の仮想記憶、ページングの図解などはここまで細く説明されている文
mem_cgroup_commit_charge()の処理 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
カーネルは4.1.15。mem_cgroup_commit_charge()はchargeの処理で呼ばれる関数。 今回はここで使われる関数の詳細は調べないで、大まかな流れを把握するのが目標。 LXRで検索するとmm/filemap.cとかmm/swapfile.c、mm/memory.cなんかから呼ばれてます。 mem_cgroup_commit_charge()自体は40行ほどの関数。引数はcharge対象のpage構造体、所属するmemcgの構造体、最後のlrucareはpageがすでにLRUで管理されているかを示すbool値です。 5522 void mem_cgroup_commit_charge(struct page *page, struct mem_cgroup *memcg, 5523 bool lrucare) 5524 { 5525 unsigned int nr_p
Linuxのsystem call fuzzer「syzkaller」めも - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
Linuxのシステムコールのファジングツールとしてsyzkallerというのがあって、これはコードカバレッジを見つつ入力を変えていってくれるというファジングするツールです。 試してみたのでどんな感じなのかを簡単にめも。 まず、ツール自体はgolangで書かれているのでgoの実行環境が必要です。あとテスト対象のカーネル側でコードカバレッジを利用可能になっている必要があります。この辺はsyzkallerのドキュメントに書かれています。 ツールはビルドして行います。make一発で良いのですが、デフォルトだとstatic linkなバイナリを作ります。うちだと-lpthreadと-lcのところでそんなライブラリはないとか怒られてしまったので、動的リンクにしました。ホストとゲストのディストリビューションが同じならライブラリのABIの違いとかないですし、これで良いでしょう。 ファジングはVMを使って行
ELFの読み込みテスト - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この前作ったテスト用のバイナリを読める程度の最低限動くプログラムを書いてみました。manのELF(5)が参考資料です。 メインPC自体は64bitなのですが、作ってるカーネルは32bitなので、テスト用のバイナリも32bitでコンパイルしてます。 これを自作カーネルに持っていきます。 テストプログラムはデータとか全然ないし、静的なバイナリなのでreadelf -Sでセクションを見るとほとんどデータはありません。 There are 6 section headers, starting at offset 0xcc: Section Headers: [Nr] Name Type Addr Off Size ES Flg Lk Inf Al [ 0] NULL 00000000 000000 000000 00 0 0 0 [ 1] .text PROGBITS 08048074 0000
cgroupのv1とv2の切り分け的なところ - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
cgroupはv1とv2という2つの実装（と言っていいのか？）があってそれらはkernel/cgroup.cで一つのコードベースにまとまっているのでコード読んでで混乱するなーというところで、誰得なめもを。 特に、4.1とかのカーネルだとv2のコードはまだ正式版となってないけどマージはされていて、DEVELsane_behaviorというオプションを使うことでv2の機能が使えるようになってます（参考： Linux 3.16 から試せる cgroup の単一階層構造 (1) - TenForward）。今はv2がちゃんと入っているのでこのオプションは不要で、cgroupのマウント時にcgroup v2としてマウントするかどうかで切り分けできます。cgroup_mount()のis_v2がそれです。 2083 static struct dentry *cgroup_mount(struct f
Linux: pid numberからtask_structの取得 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
pid numberからtask_structの取得のめも pid番号から直接task_structは取得できないので、pid構造体の取得 -> task_struct構造体の取得という流れになる。 pid名前空間を気しなくて良い場合は、find_get_pid()でpid構造体を取得し、pid_task()でtask_structを取得できる。pid名前空間が重要になる場合は、find_get_pid()ではなくてfind_ge_pid()を使ってpid構造体を取得する。 static struct task_struct *find_task_by_pid(int nr) { struct pid *pid = find_get_pid(nr); if (!pid) { pr_warn("couldn't find pid %d's task\n", nr); return NULL;
Linuxカーネルのコードネームの扱いが不憫なので/proc/sys/kernel/codenameで読めるようにした - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
たぶん、この辺の会話から Linuxカーネルのコードネームって気にした事無いな— int $0x03@SNS部 (@masami256) 2017年1月30日 この記事に繋がってたりするのかな？なんて思ったりということで、 さらに話を続けてみてですね、こんなpatchを書きました。4.10.0-rc6がベースのカーネルです。 diff --git a/Makefile b/Makefile index 96b27a8..6c3f392 100644 --- a/Makefile +++ b/Makefile @@ -1024,6 +1024,7 @@ endif prepare2: prepare3 prepare-compiler-check outputmakefile asm-generic prepare1: prepare2 $(version_h) include/genera
Docker + GNU GLOBALで手軽にソースコードリーディング環境を作る - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
Kia Ora! この記事はプロ生ちゃん Advent Calendar 2016の16日目の記事です。 2015年はbash-completionでコマンド補完するときにプロ生ちゃんに何か言ってもらう - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモなんて記事を書きました。2014年はプロ生ちゃん Advent Calenderではないけど、 systemdでshutdown時にプロ生ちゃんに挨拶してもらう - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモなんてネタを書いたりしました。 今年はすぱこー焼きそばソースを頂きました(∩´∀｀)∩ﾜｰｲ 某氏よりプロ生ちゃんのソースを頂いたので今度焼きそばでも作ろう( ´ ▽ ` ) pic.twitter.com/etNhHQdTdj— int $0x03@SNS部 (@masami256) October 31, 2016 今年
Linuxカーネルのライブパッチを使ってテスト用のstubを作る - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2016の1日目の記事です。 テストする時にstubって便利ですよね。最近はnodejsで仕事のコードを書いているのでsinon便利だなとか思ってます。じゃあ、Linuxカーネルでもstub作れたら便利だよねという思うわけです。そうすると、我々にはlivepatchという機能があります。 というわけで、Linuxカーネルのlivepatchを使ってstubを作れるようにしてみようと思ったのが今回の記事のネタです。 今回のコードはLinux 4.9.0-rc4で動かしています。 stub機能の前提としてlivepacthを使うのでstubのコードはlivepatch方式でカーネルモジュールとして作成します。どんな関数をどのようにstubするかはカーネルモジュールで決めるので、ここは使う人の自由となります。カーネル側はstubをするための機
format string attackめも - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
最近CTFとか興味出てきたので色々と遊んでます。 今回はOverTheWire: Narniaのレベル7の問題(narnia7.c)を元にformat string attackのメモです。 narnia7の脆弱性のある関数はこれです。formatはmain関数においてはargv[1]で参照されていたもので、ユーザーからの入力がそのままsnprintf(3)に渡ります。 int vuln(const char *format){ char buffer[128]; int (*ptrf)(); memset(buffer, 0, sizeof(buffer)); printf("goodfunction() = %p\n", goodfunction); printf("hackedfunction() = %p\n\n", hackedfunction); ptrf = goodfunc
作成したファイル（struct dentry *）の読み書き用バッファをプロセス等固有に持たせるめも - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
たとえば、debugfsのディレクトリとファイルをプロセス毎に作って、ファイルの中身はプロセスごとに変えたいってことをしたい場合にどうするかというメモです。 foobarという機能がdebugfsのルートディレクトリにディレクトリを作成して、piyoというプロセスはfoobar/piyo、poyoならfoobar/poyoとディレクトリができます。で、ファイルはfileという名前で固定されているけど、内容は個々に違う感じです。 /sys/kernel/debugfs/foobar --- /piyo/file |-- /poyo/file piyo/、poyo/は任意のタイミングで作成できて、foobarはstart_main()の時に初期化の関数を呼んで作るものとします。 foobar用に1つだけファイルを作成するならバッファは一つで良いのでファイルのdentryはこんな感じで作れます。
clcok_gettime(2)で実時間とかcpu時間を計る - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
Linuxのclock_gettime(2)を見ると実時間、プロセスのcpu時間、スレッド毎のcpu時間を計測できるらしいので使ってみる。includeするのはtime.h。 #include <unistd.h> #include <time.h> #include <stdio.h> #include <stdlib.h> #include <pthread.h> #include <assert.h> static inline double timespec2msec(const struct timespec *st) { return (double) st->tv_sec + (double) st->tv_nsec * 1e-9; } static void test_common(const char *name, clockid_t clk_id) { struct t
Linuxのカーネルモジュールがロードされるアドレス範囲 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
カーネルモジュールがロードされるアドレスって範囲決まってたはずだけど、自分で言っといてホントそうだったけ？とか思ったので確認。 @RKX1209 たしかmodule mapping spaceだと思った… https://t.co/4rH8h4G3rS— int $0x03 (@masami256) 2016年10月4日 調べるのはLinux 4.8。 まず、Documentation/x86/x86_64/mm.txtを確認して、以下のところをチェック。 22 ffffffffa0000000 - ffffffffff5fffff (=1526 MB) module mapping space で、この範囲にロードされるよねってとこです。 それでは、モジュールがどのように配置されるのかをコードで確認してみます。まずkernel/module.cのload_module()からみます。 こ
pid cgroupのコードを読む - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinuxカーネルもくもく会 #24 - connpassで書いてます。今日は前に追加されたcgroupsのpid管理のコードを読んでみます。 ファイルはcgroup_pids.cです。Linux 4.7のコードを対象にします。 最初にデータ構造です。pidの場合はpids_cgroup構造体が使われます。この構造体はcgroup_pids.cで定義されています。 43 struct pids_cgroup { 44 struct cgroup_subsys_state css; 45 46 /* 47 * Use 64-bit types so that we can safely represent "max" as 48 * %PIDS_MAX = (%PID_MAX_LIMIT + 1). 49 */ 50 atomic64_t counter; 51 int64_t l
Linux 4.7の新機能「perf trace calls stack」めも - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
kernelnewbies.orgのLinux Changesを見てて良さげだなと思った「perf trace calls stack」のめもを。 基本的な使い方は説明が書かれているので、 perfでread、open、closeシステムコールを指定する場合。 masami@saga:~/tmp$ sudo perf trace -e read,open,close cat test.c #include <stdio.h> static void print_args(char **argv) { while (*argv) { printf("%s\n", *argv++); } } int main(int argc, char **argv) { print_args(argv); return 0; } 0.019 ( 0.019 ms): cat/8165 open(filen
docker-machine createする時に、provisioning先のLinuxディストーションにはnetstatが必要 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
2時間位ハマったのでメモしときましょう φ(..)メモメモ KVMでCentOS7の仮想環境を作って、そこにdocker-machine create -d generic ~とやっていたんですが、sshでエラーコード127が返ってきていて、何がおきてるのかさっぱりわからずでハマりました。 こんな感じでエラーになってました。 (my-keystore) Calling .GetSSHHostname (my-keystore) Calling .GetSSHPort (my-keystore) Calling .GetSSHKeyPath (my-keystore) Calling .GetSSHKeyPath (my-keystore) Calling .GetSSHUsername Using SSH client type: external Using SSH private ke
Linuxカーネルのコードを読んで勉強になったこと - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
Linuxカーネルのコードを読んでて、なるほど〜と思うことはよくあるけど、その中でも特に今までの考え方をぶち壊してくれたのはなんだっけと思ったところ、やっぱりリスト構造かなと言うところ。 c言語でリスト構造を作る場合、一般的な教科書方式だと↓のようにデータとnextポインタは密結合になってると思います。これの場合、struct foobarのポインタをnext要素に使っているので、他の構造体（例えば、struct hogehoge）で同じことをしようとすると、その構造体ではstruct hogehoge *nextというメンバ変数を持つ必要があります。 ヘッド要素はstruct foobarです。 struct foobar { int n; char s[64]; struct foobar *next; }; struct foobar head; Linuxカーネルの場合、データとリ
Dockerコンテナにalpine linuxを使って、headlessなXサーバでSeleniumを動かせるようにする - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
Dockerコンテナ内で使うディストリビューションはAlpine Linuxがマイブームですm( )m Dockerfileはこんな感じ。 FROM alpine:3.3 RUN apk update && \ apk add xvfb dbus firefox imagemagick ruby libffi && \ apk add --virtual=build-deps gcc make libc-dev ruby-dev libffi-dev && \ gem install --no-ri --no-rdoc selenium-webdriver && \ gem install --no-ri --no-rdoc json && \ dbus-uuidgen && \ mkdir /tests && \ apk del build-deps && \ rm -rf /var/c
free(1)のtotalとかusedなどの各項目をカーネルの方から見てみる - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
free(1)は/proc/meminfoを読みに行くので、Linuxカーネルでどのような変数を見せているのかを調べてみます。カーネルのバージョンは4.5です。あ、swapのほうは今回は見ません。 最初に見るのはfs/proc/meminfo.cで、このファイルが/proc/meminfoに対する操作を定義しています。/proc/meminfoをopenする処理はmeminfo_proc_open()で、実際の処理はmeminfo_proc_show()が行います。 211 static int meminfo_proc_open(struct inode *inode, struct file *file) 212 { 213 return single_open(file, meminfo_proc_show, NULL); 214 } 215 216 static const str
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
