はてなブックマーク

sys_pivot_rootはCD-ROM起動のシステムを作成するとの説明で、システムルートファイルシステムを差し替える。と理解していましたが、正しくはカレントプロセスのrootのファイルシステムを差し替える。と言うことです。chrootで変更しなければ、プロセスのrootは、システムルートファイルシステム故、先の解釈で実用上は問題なかった。と言うことです。 new_rootが差し替えるファイルシステムで、put_oldが差し替わる元のファイルシステムで、差し替わるファイルシステムは、current->fs->rootmntです。 detach_mnt()でcurrent->fs->rootmntとnew_rootをumountし、attach_mnt()でuser_nd.mntをput_oldに、new_nd.mntをcurrent->fs->rootにmountします。 pivot_r

swatchのthreshold設定swatchでログを監視する場合、同じログが何度も出てくる場合に備えて間引き設定を行うことが多い。 指定時間の間、同じアクションの再実行を抑止するthrottle指定や、アクション実行を行うしきい値を指定するthreshold指定がある。ここではthresholdを使う場合に指定するtypeパラメータの意味について説明する。 以下にswatchのconfigのエントリ例を示す。ssh等による認証失敗のログを見つけたら、アクション(メール送信)を実行する動作を想定している。 swatchのconfig例 watchfor /authentication failure/ mail=foo@dummy.com,subject="Swatch detected authentichation failure" threshold track_by=/authf

プロック擬似ファイルは実ファイルを持たないファイルシステムであり、このファイルを介してシステム情報およびプロセス情報をを設定確認できる機能を提供している。 [root@localhost proc]# ls -f . mtrr vmstat loadavg 151 542 .. irq pagetypeinfo self 155 543 crypto cgroups buddyinfo 1 156 592 key-users sys vmallocinfo 2 157 914 keys bus slabinfo 3 159 1276 swaps tty interrupts 4 164 1277 latency_stats driver stat 5 167 1278 kallsyms fs partitions 6 217 1301 dma sysvipc cpuinfo 7 218 1

ユーザプロセスはファイルをオープンする毎に、マウントされたファイルシステムのinodeのコールバック関数がfileにバインドされ、そのコールバック関数をコールする事で、ユーザプロセスから掛かるファイルシステムを参照できるわけです。このinodeのコールバック関数は、それぞれのカーネル下で動作するファイルシステム処理の実装としてインプリメントされています。 fsueはFilesystem in Userspaceと言うことで、このカーネル下でのインプリメントをユーザプロセスとして実現すると言う物です。 下記はsshによる応用例でsshfsと言うコマンドでのサンプルです。127.0.0.1:/home/kitamuraのネットワークのリモートのファイルを/tmp/hoge0にマウントしています。 [root@localhost ~]# ls /home/kitamura/ Desktop Do

先読みとは、page単位の実際の読込みサイズを拡大して読込む事で、ブロックデバイス登録でblk_alloc_queue_node()がコールされる際、BIOリストが作成されるrequest_queueq->backing_dev_info.ra_pagesに先読みサイズ最大値が設定されます。先読みサイズ最大値ra_pagesは、実読込みサイズ+先読みサイズで、実サイズを読み込んで、先読みサイズ分を読み込むのでなく、読み込み際は、実サイズ/読み込みサイズ関係なく、両者を合わせたサイズ値で読み込みます。 最大サイズのデフォルトはVM_MAX_READAHEAD=128で、page数(VM_MAX_READAHEAD * 1024) / PAGE_CACHE_SIZE=32 pageとなります。ブロックデバイススペシャルファイルのioctl()のBLKRASETで設定できます。この先読みサイズ情

/proc/sys/vm/block_dumpは、パブリック変数block_dumpを更新します。block_dump!=0だと、bioの入出力/inodeのdirtyを、カーネルログとして出力します。 検証結果です。/dev/sdc0はext2です。 [root@localhost lkm]# echo 1 > /proc/sys/vm/block_dump [root@localhost lkm]# mount /dev/sdc0 /mnt4 [root@localhost lkm]# echo hoge > /mnt4/hoge.txt [root@localhost lkm]# dmesg | grep sbd0 [ 6181.136832] bash(1785): READ block 10 on sbd0 (2 sectors) [ 6181.137088] bash(1785

df コマンドで表示される Filesystem の none とは何でしょうか？とのページを目にしました。proc等の物理的なデバイスに対応されないファイルシステムの場合、noneと表示されるのらしいですが、私の環境(linux 3)では、noneと表示されません。どのような変更がなされたのかと調べてみました。 [root@localhost kitamura]# df -a ファイルシス 1K-ブロック 使用 使用可 使用% マウント位置 rootfs 6182228 5318216 802108 87% / proc 0 0 0 - /proc sysfs 0 0 0 - /sys devtmpfs 299400 0 299400 0% /dev devpts 0 0 0 - /dev/pts tmpfs 305088 0 305088 0% /de : 物理デバイスを有するファイル

実装イメージ #define PIPE_DEF_BUFFERS 16 truct pipe_inode_info { wait_queue_head_t wait; unsigned int nrbufs, curbuf, buffers; unsigned int readers; unsigned int writers; unsigned int waiting_writers; unsigned int r_counter; unsigned int w_counter; struct page *tmp_page; struct fasync_struct *fasync_readers; struct fasync_struct *fasync_writers; struct inode *inode; struct pipe_buffer *bufs; }; struct p

(*1) backlog(512)はtcp_max_syn_backlog(400)より大きいので、400を切り上げた512がsyn backlogのサイズになる。 syn backlogのサイズを大きくしようとするには、以下の点に注意する。 (a) net.ipv4.tcp_max_syn_backlogを大きくする (b) listen()で指定するbacklog値を大きくする(apacheならListenBackLogディレクティブで指定できる) (c) backlogの値自体はnet.core.somaxconnに切り詰められるため、net.core.somaxconnの方も大きくしておく。 syn backlogの最大サイズはbacklogサイズに基づいて決まるため、net.ipv4.tcp_max_syn_backlogを大きくするだけでなく、backlog自体が大きくなるよう

システムコールで待機中にシグナル配信処理が行われると、そのプロセスは起床され（TASK_RUN状態）、シグナル処理が動作する様なっていました。そして待機中だったシステムコールは、システムコールの返り値により、シグナル処理後再実行等の処理が行われるようになっていました。返り値とは、ERESTARTNOHAND/ERESTARTSYS/ERESTARTNOINTR/ERESTART_RESTARTBLOCK です。シグナル(その3)時の理解では、この値は該当システムコール自身が設定するものと理解しましたが、ついでと言うことで調べるて見ました。 ERESTART_RESTARTBLOCKについては、スリープで待機した時間を考慮して、再実行するものでした。ということでシステムコールsleep内で、ERESTART_RESTARTBLOCKがどのように設定されるかを見てみようと思います。 スリープは

shrink_active_list関数はactiveリストを回収します。処理の概要はactiveリストから所定のpageを抜き出します。そしてそのページをマップされているページかどうかで、activeリストかinactiveリストかに振り分けます。これらのリストはワークリスト下で行います。そしてこのactiveリストをzoneのactiveリストへ、inactiveリストをzoneのinactiveリストへ繋ぎ換えます。 if (sc->may_swap)はマップpageも回収する場合、設定されています。sc->may_swap=1で回収処理チェックcalc_reclaim_mapped関数が呼び出されます。マップされているpageを回収するにはスワップが発生するためできるものなら避けたいものです。なお回収するならreclaim_mapped=1となります。 lru_add_drain関

lsコマンドの表示について（ディレクトリのサイズ）というのがあった。新規に作成したディレクトリのサイズが4096の倍数で表示されるというものだ。実際新規にディレクトリを作成してls -lとしてみると、確かに4096で、その下にファイルを作成しても4096のままである。 Takeshi Kusune さんが実装にもとずいて説明されている。ディレクトリもファイルと同じ扱いをする。ファイル同じようにiノードをもつ。（ただし、file_operetion,inode_operatinのコールバック関数は異なる。）そしてファイルと同じようにデータブロックをもつ。 fs/ext3/namei.cのstatic int ext3_mkdir(struct inode * dir, struct dentry * dentry, int mode)で inode->i_op = &ext3_dir_ino

ページの割り当ては遅延割り当てのため、ページフォルト例外処理の中でおこなわれます。しかしここでの処理は、プログラムエラーによる不正のアクセスのケースとをチェックする必要があります。例外が発生した箇所(ユーザ空間/カーネル空間)および、例外が発生した時の動作モード(ユーザモード/カーネルモード)、又その場所がプロセスの有している空間かそうでないか等のチェックが行われることになります。 これらの処理はdo_page_fault()で行われます。本関数はgoto/returnを多用しており、全体の流れが今ひとつすっきりしずらいです。 例外が発生すると、そのアドレスはcr2レジスタにセットされています。14行のaddress = read_cr2()でaddressには例外が発生したアドレスが設定されることになります。 21行目のf (unlikely(address >= TASK_SIZE))

debugfsはprocfsのように、カーネル内部情報を参照するもので、本質機能の目的はprocfsと同じです。ただ実装の仕方がprocfsのような実装上の制約がなく、通常のファイルイメージでファイルを作成するように、ファイルを作成することができます。そしてファイル単位に、ファイルオペレーションコールバック関数を設定可能となります。 カーネルは/procのようにマウントまで行っていません。マウントはユーザランドの操作となり、従ってシステム依存になります。tools/perf/util/debugfs.cにデフォルトで static const char *debugfs_known_mountpoints[] = { "/sys/kernel/debug/", "/debug/", 0, }; とされていて、通常は/sys/kernel/debugにマウントされています。 サンプルです。

1. 概要 物理アドレスから仮想アドレス空間のアドレスを逆引きするための仕組み。 スワップ処理でページをページアウトする時には、その物理ページにマップしているユーザー空間をアンマップする必要がある。この時、Rmapを使うことで物理ページへマップしているユーザ空間を高速に取りだせる。 2. データ構造 Rmapのデータ構造を図1に示す。 物理ページの管理構造体であるstruct pageからanon_vma経由で物理ページにマッピングされている仮想アドレス空間(vma)を全て取得することができる。 struct pageのmappingは通常struct address_space(*1)へのポインタだが、PAGE_MAPPING_ANON(1)がセットされていたら、struct anon_vmaへのポインタであることを示す。 struct anon_vmaからこの物理ページに対応するstr

kmalloc/vmallocは、両者とも仮想アドレスを取得するものですが、以下のような違いを有しています。 kmalocはオブジェクト単位(スラブ)で取得されます。このキャッシュは、kmaloc用として、8,16,32・・・4096,8192サイズで作成されており、引数で指定されるサイズの対応するスラブが取得されます。 [ root@localhost kitamura]# cat /proc/slabinfo | grep kmalloc dma-kmalloc-4096 0 0 4096 dma-kmalloc-2048 0 0 2048 : dma-kmalloc-32 0 0 32 dma-kmalloc-16 0 0 16 dma-kmalloc-8 0 0 8 kmalloc-8192 36 36 8192 kmalloc-4096 114 128 4096 : kmallo

name_to_handle_atで取得したfile_handleとmount idで、open_by_handle_atでファイルを参照します。運用はサーバで提供するファイルのfile_handleとmount idをクライアントに送信し、クライアントはそのファイル参照時、file_handleとmount idをサーバに返信する事で、サーバはパスに依存しないでファイル参照します。 open_by_handle_atの第一引数は、mount idでなく、そのファイルシステム下のファイルIDで、そのファイルをopenする事で、掛かるファイルシステムがunmountされていない事、そしてファイル参照中にそのファイルシステムがumontされないようにするためです。掛かるファイルシステムの任意のファイルが１つでもオープンされていれば、unmountできません。なお、AT_FDCWDとすると、カレ

ファイル最大長は、ブロックサイズ/ブロックビット長で決定されファイルシステムに依存しますが、カーネルとしてサポートする最大長さを超えてはいけません。カーネルとしてサポートする最大長は以下の通りです。 #define PAGE_SHIFT 12 #define PAGE_SIZE (1 << PAGE_SHIFT) #define PAGE_CACHE_SIZE PAGE_SIZE #define MAX_NON_LFS ((1UL<<31) - 1) #if BITS_PER_LONG==32 #define MAX_LFS_FILESIZE (((u64)PAGE_CACHE_SIZE << (BITS_PER_LONG-1))-1) #elif BITS_PER_LONG==64 #define MAX_LFS_FILESIZE 0x7fffffffffffffffUL #endif

メモリが少なくなるとページ回収処理が動作します。この処理はPFRA(Page Frame Reclaiming Algorithm)と称されているようで、メモリ管理の中枢をなす処理だと言えます。システムパフォーマンスに大きな影響を及ぼすコンポーネントということは間違いないことで、それだけに難しいです。処理はアバウトでしか分かりません。ここではキャッシュ回収にかかる処理をみてみました。（処理の中にスラブの回収もあるようです。） キャッシュ回収はzone->active_list/inactive_listの処理に他なりません。active_listの一部のページをからinactive_listへ、inactive_listの一部のページをバディーシステムに返すことでメモリを回収するわけです。 alloc_pageからtry_to_free_pages関数へ、そしてdo_try_to_free

通常ファイルのロックは勧告ロックとなり、セマフォの排他処理のように、プロセス間で必要なロックを取得してファイル操作を行うことで、ファイルの読み書きの処理を行うようになっている。これを勧告ロック(アドバイザリロック)と言い。一方ロックをかけたファイルは問答無用にロックの処理をおこなうのを強制ロック言う。 (Linuxではファイルロックの種類とし、flock/fctrl/releseの3種類あるが、強制ロックの概念はこれと直接関係ない。) 強制ロックはfctrlシステムコール(POSIXロック)下でサポートされているよう。なお、flockシステムコールにLOCK_MANDオプションがあり、カーネルに強制ロックをおこなう関数が組み込まれているが、現行カーネルではファイル読み書きにおいて、その処理はバインドされていない模様・・・。 fctrlシステムコール実装での、勧告ロック/強制ロックの違いはな

1. ページアウト処理の概要 1.1 ページアウトの開始 空きメモリが少くなってkswapdがwakeupされたり、alloc_pages()でFreeListからページが取れなかった場合、Inactiveリストからページを回収して空きメモリを増やそうとする(「空きページの確保」参照)。Inactiveリストをスキャンした時にPageCacheのページは(Dirtyでなければ)解放されるだけだが、匿名ページは解放前にディスク(スワップファイル)に書き出す必要があり、ページアウト処理が発生する。 Inactiveリストのページをスキャンしてページを解放する処理はshrink_list()で行なわれる。shrink_list()ではページアウトに関して主に以下の処理を行なう。これらの処理は1.2節以降を参照。 ページアウト先の割り当て   (1.2節) ユーザ空間からのアンマップ (1.3節)

ヒープは空いているメモリー空間から動的に獲得するものでが、ユーザメモリー空間に空きが有る限り獲得できるものでありません。ユーザプロセスで使用するmalloc関数は、glibcで実装されており、すなわちユーザプロセスとして実装されています。ヒープ処理としてカーネルはそのヒープと使えるメモリー空間を提供するのみで、ヒープ領域を設定するシステムコールはbrk関数です。 まず、min_brkにヒープ開始アドレスをセットしています。CONFIG_COMPAT_BRKでそのアドレスをmm->end_code（実行コードの終端アドレス）か、mm->start_brk（ヒープ開始アドレス）としているようです。そして拡張するアドレスがそれより小さければエラーです。 rlim = current->signal->rlim[RLIMIT_DATA].rlim_curで、プロセスのデータのリソースの拡張が可能で

概要 V8 JavaScriptエンジンの組み込みと関数等の追加を試した。 V8の組み込みまずは標準入力からJavaScriptソースを読み込んで実行するケース。 https://developers.google.com/v8/get_startedに載っているものとほぼ同じで、ソースを標準入力から取得するように修正しただけ。このソースをベースに試していく。 #include <v8.h> #include <iostream> #include <string> using namespace v8; static void read_file(std::istream& ifs, std::string &content) { content = ""; std::string t; while (!ifs.eof()) { getline(std::cin, t); content

kprobは、実行カーネル内を再コンパイルすることなく、任意のアドレスにブレイクを設定できる。そしてそのブレイクした時のデバック処理を記述することで、カーネルデバッグを行うというもの。 以下のstatic struct kprobe kpにブレイクする位置(シンボル又はアドレスの指定およびオフセット)、ブレイクした時の処理、ブレイクしたコードを実行した後の処理、必要なら、上記の処理で例外が発生した時の処理を記述して、register_kprobe()をコールするだけである。 struct kprobe { /* location of the probe point */ kprobe_opcode_t *addr; /* Allow user to indicate symbol name of the probe point */ const char *symbol_name; /*

start_kernel()からvfs_caches_init()をコールし、mnt_init()でまずrootfsを作成します。それをルートプロセスのrootディレクトリとする事で、以降のプロセスはルートプロセスのネームスペース継承し、従ってシステムのルートファイルとなるわけです。 その後、INITCALLS配下に定義された関数群を順次コールし、その一つのpopulate_rootfs()が初期起動のルートファイルシステムのイメージをrootfsに展開し、そのファイルシステムの/initを起動する事でのシステムがスタートされます。 void __init vfs_caches_init(unsigned long mempages) { unsigned long reserve; reserve = min((mempages - nr_free_pages()) * 3/2, mem

スレッドはグローバルは変数は共有しますが、マルチスレッドアプリケーションにおいて、スレッド固有のデータを保持したい場合があります。それを実現するのが、スレッドローカルストレージ(TLS)です。 func()を2つのスレッドとして作成します。そこでは、__thread int aとint bをインクリメントした値を表示しています。最初のスレッドではa = 1 b=1、次のスレッドではa = 1 b=2となっています。int aとしたならa=2なるところです。すなわち__thread int aはスレッド固有の変数というわけです。 #include <stdio.h> #include <pthread.h> __thread int a = 0; int b = 0; void *func(void *arg) { a++; b++; printf("a = %d b=%d\n", a, b

ネームスペースという概念はカーネル2.6から導入されたもので、task_struct->nsproxyで参照される各リソースの管理単位となる。ここではファイルシステムについて。mountはvfsmount構造体をmnt_ns下で管理されるマウントツリーのリストを作成する。すなわちこのmnt_nsがプロセス間で異なれば、あるプロセスでmountしたファイルシステムはもう一つのプロセスでは参照できないということだ。 プロセスの作成はdo_fork関数そしてcopy_process関数へと渡っていき、そこでプロセスの複製を行う。ネームスペースに関しては、通常親プロセスを継承する。しかしCLONE_NEWNSが設定されていると、copy_namespaces関数がコールされ、新規のnsproxy(下位のメンバーについても)が確保され、そこに親の内容を複写する。clone関数から戻って子プロセスが起