hiroyukimのブックマーク - はてなブックマーク

Linux:sparse fileのファイルサイズと実際に使っている領域の大きさはどう調べるのか。 - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

今日の原書で学ぶ64bitアセンブラ入門(6)でsparse fileの話題が出て気になったので調べてみた。何を調べたかったかというと、sparse file全体の大きさ、実際に使っているサイズはどう管理されているのかというところ。ちなみに、Sparse FileについてはSparse Fileとは？とか、Arch Linuxのwikiが作り方、サイズの調べ方など充実います。まず、sparse fileを作ってその時点でのサイズを見てみます。 ddでinputとして/dev/zeroを、outputにfile.imgを指定します。そして、seekで10MiB目に移動してますがデータそのものはcount=0を指定しているので書き込みしません。そうすると読み込みバイト数0、書き込みバイト数0という感じで処理が終わります。 masami@saga:~/sparse_file_test$ d

hiroyukim 2021/09/19

リンク

マイペースなOSSコントリビュート生活 fedora編 - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

この記事はLinux Advent Calendar 2020の17日目の記事です。 OSSのコントリビュート方法はpatchを書いたりドキュメントを翻訳したり、バグレポートしたりと色々な方法がありますね。fedoraでテストというとリリース前のベータ版のテスト、パッケージがアップデートされた際のテスト（QA:Updates Testing - Fedora Project Wiki）、テストイベントのTest Days(QA/Test Days - Fedora Project Wiki)などがあります。 updates-testing このなかで手軽なものとしてはupdates testingがあります。fedoranはパッケージがアップデートされる場合、最初にupdates-testingリポジトリに更新されたパッケージが入ります。その後、基本的には以下のルールに則ってパッケージがu

hiroyukim 2020/12/28

リンク

Tiny Core LinuxでLinuxのinitプロセスが実行されるあたりを調べる - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

この記事はLinux Advent Calendar 2020 - Qiitaの1日目の記事です。 Tiny Core Linux(以下tcl)を使ってLinuxのブートプロセスを見てましょう。Tiny Core Linuxは軽量ディストリビューションで最小のisoイメージだと11MBほどです😃 ブートプロセスを見ると言っても電源onからの流れではなくてinitプロセスの実行に関する部分です。この記事ではバージョン11.1のCore-current.iso を利用しています。 www.tinycorelinux.net isoファイルの構成まずはtclのisoがどんな感じで構成されていて、Linuxを起動させるのか確認しましょう。 isoファイルの構成はこのようになっています。 $ sudo mount -o loop Core-current.iso ./mnt $ tree ./

hiroyukim 2020/12/01

リンク

Linuxカーネルのデバッグでprintk(9)デバッグを卒業したいっ！ - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

この記事はLinux Advent Calendar 2015の25日目の記事です。 Linuxカーネルのデバッグである意味一番手軽なのがprintk(9)によるデバッグだと思うんですが（ユーザランドのプログラムで言うところのprintf(3)デバッグ）、この場合h速いCPUを積んだマシンならビルドはすぐに終わるけど、カーネルを変えている以上は再起動はしないといけないし、ちょっと手間ですよね。ということで、printk(9)によるデバッグはそろそろ卒業しようというのがテーマです。ちなみに、printk(KERN_INFO"foobar\n")よりもpr_info("foobar\n")のほうがお手軽です。pr_で始まるマクロがinclude/linux/printk.hに定義されています。 Linuxのデバッグをするための方法としても下記のようなものがあります（kmemleakとかloc

hiroyukim 2019/04/13

リンク

string_get_size()でサイズのお手軽表示 - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

この記事はLinux Advent Calendar 2017の22日目の記事です。カーネルのコードを書いていてサイズを表示したい時にstring_get_size()を使うとお手軽に2進接頭辞（KiBとか）とSI接頭辞(KBとか)を使ったサイズの文字列を作ることができます。関数のプロトタイプはこうです。 void string_get_size(u64 size, u64 blk_size, enum string_size_units units, char *buf, int len); sizeとblk_sizeは使い分けが有ります。バイト数を扱いたい場合はsizeにバイト数、blk_sizeには1を指定します。ブロックデバイスやページなどを扱う場合などはそのサイズをblk_sizeに指定して、それがいくつあるかをsizeで指定します。たとえば、1024という数字を2進接頭辞

hiroyukim 2017/12/29

リンク

弄りながらなんとなく学ぶLinuxのスラブアロケーター - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

この記事はLinux Advent Calendar 2017の1日目の記事です。Linuxのスラブアロケーター仕組みを多少弄りながら学んでみます。スラブアロケーターとはなんぞやというところはSlab allocation - Wikipediaを参照してください。スラブアロケーターはSolaris5.4で最初に実装されたようです。 Linuxカーネルプログラミングで動的にメモリを確保するのに使用するkmalloc()もスラブアロケーターを使用しています。目次 Linuxのスラブアロケーター SLAB SLUB SLOB 各スラブアロケーターのまとめ実装スラブ用のページ弄ってみる最低限必要な準備実装開始データ構造ロック初期化 kmem_cache_create() スラブオブジェクトのアロケートスラブオブジェクトのfree 実験ボトルネックこの後 Linuxのスラ

hiroyukim 2017/12/01

リンク

OpenBSDのexplicit_bzero(3)の仕組み - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

OpenBSDのlibcにはexplicit_bzero(3)という関数があって、変数を使い終わった後にmemset(3)で0クリアできるようにする関数。これはコンパイラがmemset()後にその変数が使われないならmemset()自体いらないだろうという最適化によってmemset()自体が消されるのを防いでいます。これの仕組みはコミットログにて解説されているんだけど、内容は至って簡単だけどなるほど〜と思うわけですね。コードはこれです。 /* $OpenBSD: explicit_bzero.c,v 1.3 2014/06/21 02:34:26 matthew Exp $ */ /* * Public domain. * Written by Matthew Dempsky. */ #include <string.h> __attribute__((weak)) void __e

hiroyukim 2017/02/07

リンク

gdbでアドレスが指す先のアドレスをdereferenceするコマンドを作った - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

gdbであるアドレスがアドレスを指している場合のdereferenceを簡単にやりたかったのでpythonでコマンド作ってみました。これは例えばcのコードがこうで、 void func(char *p) { printf("[*] %s\n", p); } func()のディスアセンブル結果にこのような処理があるとします。 0x000000000040066e <+8>: mov %rdi,-0x8(%rbp) このとき、rbp - 8のアドレスは0x7fffffffdc68で、ここはアドレス0x0000000000602010を指しています。 (gdb) x/gx $rbp - 8 0x7fffffffdc68: 0x0000000000602010 このアドレスが指す内容は以下のようにしてdereferenceできますが、ちょっと面倒ですよね。 (gdb) x/s *(char **

hiroyukim 2017/01/12

リンク

behemoth6めも - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

overthewireのbehemothのレベル6をクリアできたのでメモしときます。この問題は脆弱性を突くタイプではなくて、特定の条件を満たすとshellが起動してクリアとなる問題でした。これは実行するプログラムは/behemoth/behemoth6で、内部的には/behemoth/behemoth6_readerも実行されます。 behemoth6のほうは最初にpopen(2)でbehemoth6_readerを実行します。このとき、popen(2)の2番目の引数は"r"を指定しています。 behemoth6_readerはshellcode.txtというファイルを読み出し、読んだデータをシェルコードとして実行します。behemoth6_readerをcで書いたらだいたいこんな感じのことをやるコードです。 #include <stdio.h> #include <unistd.h>

hiroyukim 2016/12/06

リンク

kmalloc()とBUG: sleeping function called from invalid context〜とslab_alloc_node() - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

カーネルのバグでspin lock取っているコンテキストでsleepする可能性のある関数を使うと「BUG: sleeping function called from invalid context at mm/slub.c:965」なんて感じでエラーがでますけど、kmalloc()はGFP_XXXなflagsをどのように使っているのかなと思い調べてみる。なんで気になったかというと3.15 + αなカーネルでspin lock中にkamlloc()にGFP_NOIOを渡していて「BUG: sleeping function 〜」が出るケースに遭遇したから。ずっと前にkmalloc()の概要は見てたんだけど今回は前回とは違う視点で。。読むカーネルは3.14でslab allocatorはslubです。 kmallocはlinux/slab.hに合って、コンパイル時点でサイズが分かっている

hiroyukim 2015/04/09

kernel
linux

リンク

Linuxのプロセス切り替え処理 - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

この記事はLinux Advent Calendar 2014 1日目の記事です。 switch_toはプロセス切り替え時の処理ですね。ここを読んでみます。基本的にはアセンブラで__switch_toがcの関数となってます。まずはプロトタイプから。引数は3個でprev,、next、 lastの3個。型はすべてstruct task_structです。prevは切り替え前のプロセスで現在実行中のプロセス、nextは次に動かすプロセスです。lastは__switch_to()の戻り値が入ります。 103 /* Save restore flags to clear handle leaking NT */ 104 #define switch_to(prev, next, last) \ SAVE_CONTEXTは予想通りマクロです。 105 asm volatile(SAVE_CONTEX

hiroyukim 2014/12/19

リンク

Linuxカーネルでsystem callのhook - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

この記事はLinux Advent Calendar 2014の5日目の記事です。 Linuxカーネルのシステムコールをhookしたい場合にどうやるかという話です。試したカーネルは3.18.0-rc6です。まずシステムコールですが、これはテーブルで管理されていて、各要素はNR_システムコール名（NR_closeとか）という形でインデックスを指定してアクセスできます。そしてこのテーブルはsys_call_tableという名前です。System.mapを見ると以下のような感じで見つけられると思います。 masami@kerntest:~$ grep sys_call_table /boot/System.map-3.18.0-rc6-ktest ffffffff81601600 R sys_call_table ffffffff8160cf80 R ia32_sys_call_table

hiroyukim 2014/12/19

リンク

sendfile(2)というのを見つけたのでメモ． - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

manによると，fd間でデータのコピーを行うけど，read()とwrite()が不要なので効率が良いとのこと．実際にやるとこんな感じになります．． [masami@moonlight:~]% touch a.txt b.txt [masami@moonlight:~]% echo "foobar" > a.txt [masami@moonlight:~]% emacs sendfile.c [masami@moonlight:~]% gcc sendfile.c [masami@moonlight:~]% ./a.out 7 bytes were written to b.txt [masami@moonlight:~]% cat b.txt foobar [masami@moonlight:~]% ソースはこれです． #include <stdio.h> #include <sys/s

hiroyukim 2014/10/15

リンク

Linux:実行中プロセスの名前空間切り替え - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

Linuxで名前空間に関して設定できるのはclone(2)、unshare(2)、setns(2)で、このうち実行中のプロセスの名前空間を変更できるのは後者の2個なんですが、カーネル側ではkernel/nsproxy.cにあるswitch_task_namespaces()が実際の処理を行ってます。そんなわけでこの辺りのコードを見てみます。まず、switch_task_namespaces()を呼んでいる箇所ですが以下の4つがありました unshareシステムコールの実行時 setnsシステムコールの実行時 exitシステムコール実行時 copy_process()のエラー処理このうち1、2は実行中のプロセスの名前空間を切り替えるため、3はプロセスの終了処理の一環で使用していた名前空間をプロセスから参照できなくさせるため、最後は名前空間を設定したけどプロセスの生成に失敗したので後始末と

hiroyukim 2014/08/14

リンク

Linuxのpipeの実装を見てみる - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

Unix V6のpipe()と比べてLinuxのpipe()どう実装しているんですかねーなんて話を最近したのでちょっと見比べてみた。 V6のpipeははじめてのOSコードリーディング読書会 (15)でやったところなんだけど、俺は風邪ひいて家で引きこもってたので・・・ V6のpipeの挙動は大体こんな感じ。 pipeはルートディスクのストレージ領域を4096B（8ブロック）使用し実現する 4KBのデータ領域はひとつのファイルとして扱われる（inodeが割り当てられる）オンメモリではなくてストレージを経由するが、バッファサイズが小さいのでブロックデバイスのバッファキャッシュが効きやすいようになっている pipeの受け手がデータを読みだす前に他の優先度の高いプロセスがブロックデバイスを使用するとキャッシュが効かなくなる可能性ありでも、データはストレージに書かれているので内容が壊れると言った

hiroyukim 2014/06/02

リンク

Linuxカーネルハックに興味があるけど特にネタが無いんだよな〜って人向けの小ネタ - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

Linuxカーネルに興味があるんだけど特に作りたいものってないんだよなーなんて割とあると思う訳です。俺とか。。。まあ、kernelnewbiesのメーリングリストでもよく見る話題かと思います。この辺なんかもそうですね。で、そんな時にオススメできるのがkmemleak。カーネルに組み込まれたメモリーリーク検出ツールです。使い方は至って簡単でカーネルのコンフィグレーションにあるKernel memory leak detectorを有効にしたカーネルを普通に使えばOK。カーネルはメインラインのrcでもtipでもlinux-nextでも何でも良いと思います。設定の場所はKernel Hacking -> Memory Debugging -> Kernel memory leak detectorにチェックをするのと、その下のMaximum kmemleak early log ent

hiroyukim 2014/05/12

kernel

リンク

linux:x86_64のページング初期化処理周りを読んでみる - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

Linuxカーネルの解説本は何種類か出版されているけど大概はx86_32が対象なんですよね。ということでx86_32を基本として大まかな内容は解説本を参考にしつつ、実際のx86_64の処理はコードを読む必要があるのです。。。ということでx86_64の場合のページングの初期化部分のコードを読んでみる。ページング設定に着た時点でx86_64のlong modeに入っているんだけど、ここまでの流れは前にlinuxのlong modeへの移行処理にという記事で書いているので興味のある人はそちらもどうぞm(__)m 見ているカーネルのバージョンは3.13です。まず、ページングの初期化処理はどこから呼ばれるのかというとinit/main.cのstart_kernel()から。このstart_kernel()でsetup_arch()を呼んでいるところが該当部分。 512 pr_notice("

hiroyukim 2014/02/17

リンク

linuxにシステムコール追加 - φ(・・*)ゞｳｰﾝ　カーネルとか弄ったりのメモ

久々にやってみようと思って、2.6.33でシステムコールの追加をしてみました。やってみたら新しい発見があったり面白いですね。 copy_buffer.cというファイルは新規に作ったのと、それようにMakefileを弄ってます。他のファイルはシステムコールを追加するために弄っているので、もし新規にシステムコールを追加するならここは変更する必要があります。ファイルを新規に作らずに、既存のファイル内に関数を追加するなら、Makefileを弄る必要はありません。テスト環境は仮想環境（kvm）でホスト・ゲストともにアーキテクチャはx86_64です。システムコールの追加方法は、lwnの記事で最近のカーネルに対してシステムコールの追加に関する記事があったので、それを参考に弄るファイルとかを調べました。多分、最近のカーネルと昔のカーネルでは弄るファイルが多少変わってます。最近はinclud