トラブルシューティングからLinuxカーネルに潜り込む ‐ 実際のサービス運用で深めたカーネルへの理解
本記事は、TechFeed Experts Night#19 〜 達人に聞く、Linuxカーネルコードの歩き方のセッション書き起こし記事になります。 イベントページのタイムテーブルから、その他のセッションに関する記事もお読み頂けますので、一度アクセスしてみてください。 本セッションの登壇者 セッション動画 GMOペパボの伊藤洋也です。2007年からGMOペパボにて勤務しており、ホスティングサービスや技術基盤チームを経て現在はセキュリティ対策室に所属しております。オンラインではTwitterおよびGithubのアカウントとブログで活動しています。今回は実際のサービス環境でのLinuxカーネルのトラブルシューティング事例とともに、カーネルの詳細調査やコードリーディングの方法をご紹介します。 私はLinuxカーネルのコミッターをしているわけではなく、またLinuxカーネルの開発業務もさほど行って
ふつうのLinuxプログラミング-プロセスとハードウェア
研究会の輪講でやったやつ．多少がんばった&評価も高めだったし使いまわせそうなので上げておく．
driver-core: devtmpfs - driver core maintained /dev tmpfs [LWN.net]
[PATCH] driver-core: devtmpfs - driver core maintained /dev tmpfs From: Kay Sievers <kay.sievers@vrfy.org> Subject: driver-core: devtmpfs - driver core maintained /dev tmpfs Devtmpfs lets the kernel create a tmpfs very early at kernel initialization, before any driver core device is registered. Every device with a major/minor will have a device node created in this tmpfs instance. After the rootfs
Limit Linux background flush (dirty pages)
Background flushing on Linux happens when either too much written data is pending (adjustable via /proc/sys/vm/dirty_background_ratio) or a timeout for pending writes is reached (/proc/sys/vm/dirty_expire_centisecs). Unless another limit is being hit (/proc/sys/vm/dirty_ratio), more written data may be cached. Further writes will block. In theory, this should create a background process writing ou
No-I/O dirty throttling [LWN.net]
This article brought to you by LWN subscribersSubscribers to LWN.net made this article — and everything that surrounds it — possible. If you appreciate our content, please buy a subscription and make the next set of articles possible. "Writeback" is the process of writing dirty pages back to persistent storage, allowing those pages to be reclaimed for other uses. Making writeback work properly has
Linux ftrace TCP Retransmit Tracing
Recent posts: 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » TensorFlow Library Performance 19 Mar 2022 » Why Don't You Use ... 26 Sep 2021 » The Speed of Time 06 Sep 2021 »
Netstat -s showing (and growing) "packets pruned from receive queue" and "packets collapsed in receive queue"
we are seeing the following: [root@primary data]# netstat -s | grep buffer ; sleep 10 ; netstat -s | grep buffer 20560 packets pruned from receive queue because of socket buffer overrun 997586 packets collapsed in receive queue due to low socket buffer 20587 packets pruned from receive queue because of socket buffer overrun 998646 packets collapsed in receive queue due to low socket buffer [root@p
Riak, Elasticsearch and numad walk into a Red Hat
What starts like a joke is really a serious post about large distributed systems. This is what we run at meltwater - and while there is a lot of fun designing and administering these systems, we run into odd problems from time to time. In this case: some well-meant Red Hat memory optimisations interfering with Riak performance. There is a lot of talk around “Big Data” in the industry - and here at
革命の日々！ RHEL6 S390用チューニングパラメタ推奨値解説
RHEL6のドキュメントページ（※）みてたのだけど ※ http://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/6/ Technical Notes: http://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/6/html-single/Technical_Notes/index.html に面白いチューニングパラメタの記述をみつけたので解説してみる。S390向けのチューニング推奨値の部分だ ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー System z Performance Some of the default tunables in Red Hat Enterprise Linux 6 are curr
Why do forked processes sometimes appear with brackets [] around their name in ps?
On a Linux system a C process is started on boot, which creates a fork of itself. It is not a kernal process or something. In most cases a ps -ef show both processes as expecxted, but sometimes it looks like the following: 1258 root 0:00 myproc 1259 root 0:00 [myproc] i.e. one of the processes surrounded by brackets. According to ps: If the arguments cannot be located (usually because it has not b
![Why do forked processes sometimes appear with brackets [] around their name in ps?](https://cdn-ak-scissors.b.st-hatena.com/image/square/b464c2cda694ab68f456c208dff3f30700a47c13/height=288;version=1;width=512/https%3A%2F%2Fcdn.sstatic.net%2FSites%2Funix%2FImg%2Fapple-touch-icon%402.png%3Fv%3D32fb07f7ce26)
ユーザIDを変更するプログラムのcoreダンプ - Journal InTime(2014-02-11)
_ ユーザIDを変更するプログラムのcoreダンプ UnixライクなOSでは、ユーザIDを変更するプログラムでSEGVが発生した場合、ulimitなどでcoreを吐くように設定していてもcoreが吐かれないことがある。 これはセキュリティ上の理由で、例えばsetuidプログラムでは、一般ユーザに見られてはまずい情報がcoreファイルから漏洩したり、root権限のファイルを上書きしてしまうといった問題があるので、単純にroot権限でcoreファイルを作成してしまうことは好ましくない。 このため、setuidプログラムや、seteuid(2)などでユーザID/グループIDを変更するプログラムは、デフォルトではcoreを吐かないようになっている。 この動作は通常は問題ないが、デバッグの際に不便なので、Linuxなどでは設定で動作を変えられるようになっている。 グローバルな設定 Linuxの場合は
KMC Staff Blog:簡単なLinuxカーネルのプロファイル (readprofile)
2011年10月19日 簡単なLinuxカーネルのプロファイル (readprofile) Linuxカーネルのタイマー割り込みのところのソースを見ていたら、簡単なしくみのプロファイラが組み込まれているのを見つけました。これはタイマー割り込みのところでプログラムカウンタがどこを指していたかを累計していき、readprofileというツールでその結果を見ることができます。 このプロファイラはCONFIG_PROFILING=y でカーネルをビルドするだけで使うことができます。 Ubuntu 10.04 (x86_64)のカーネルはその条件でビルドされているのですぐに試すことができました。 プロファイラの準備 rootで # echo 2 > /sys/kernel/profiling または $ sudo sh -c "echo 2 > /sys/kernel/profiling" (この'
nss-myhostnameで、自ホスト名を常に引けるようにする - ブログ - ワルブリックス株式会社
この記事は STBBS.NET BLOGから移動されたものです Javaで自ホストの名前を調べようとしたら、下記のようになる。 java.net.InetAddress.getLocalHost().getHostName() のだが、getLocalHost()の呼び出し時点で UnknownHostException が出てしまう場合がある。 Javaランタイムは getLocalHost()の中でまず自ホスト名を調べた後にそのIPアドレスを解決しようとするのだが、するとホスト名からIPアドレスを解決できない場合には当然この例外が送出されることになる。 ホスト名からIPアドレスを引けない理由をいろいろ端折って一言でいうと、/etc/hosts に載っていないからだ。 OSのインストーラが気を利かせて /etc/hostsにホスト名を追記してくれていればこういう問題は起こらないのだが、そ
CentOS/SSD - maruko2 Note.
CentOS/SSD 提供：maruko2 Note. < CentOS 移動： 案内, 検索 RHEL 6 (CentOS 6) は、ext4 ファイルシステムで discard をサポートしている。ただし、有効になっていないのでマウントオプションとして discard を指定する必要がある。 At present, ext4 is the only fully-supported file system that supports discard. To enable discard commands on a device, use the mount option discard. For example, to mount /dev/sda2 to /mnt with discard enabled, run: mount -t ext4 -o discard /dev/sda2
プロファイラのしくみ steps to phantasien t(2007-08-23)
UNIX 偏向文書 artu の中で "Measure Before Optimizing" と説く Raymond は, 同時にプロファイラの計測機構 (instrumentation) がもたらすノイズについて注意を促している. 私のプロファイラ信仰に不安が翳を落とす. gprof ノイズはさておき, そもそもプロファイラはどんな仕組みで速度を測っているんだろう. gprof のマニュアル によると, GNU 一族のプロファイラは次のように実装されている: まず "-pg" オプションつきの gcc でソースをコンパイルする. この指示を受けたコンパイラは各関数の冒頭に "mcount" という名前の関数呼出しを加える. リンクする C のランタイムも専用バージョン (gcrt0.o) に差し替わる. このランタイムは裏で profil() 関数を使いタイマを仕掛ける. そのタイマは発
ftraceについて調べる(前回からの続き) - akachochinの日記
ftraceの仕組みを調べるためにググっていたら、http://bit.ly/9cGM9d という論文を発見。 早速読んでみる。 ftraceはgcc の -pgオプションを利用して、関数の入り口でmcount()という関数をコールするようにしている。 (-pgはプロファイラなどのために用意されたオプションで、このオプションでコンパイルされた関数は入り口でmcount()という関数を呼ぶようになるらしい) そして、各CPUアーキテクチャごとに定義されたmcount()の中でスタックを弄り、mcount()呼び出し元の関数が終了した時に戻るべきリターンアドレスを書き換えておく。 これにより、関数終了時に別途測定用の関数がコールされることになる。 早速仕組みを実装で追いかけるべく、mipsアーキテクチャを選んで読んで見た。 98 NESTED(_mcount, PT_SIZE, ra) 99
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
oss-sec: Linux kernel: FS_IOC_FSSETXATTR will lead to EXT4-fs shut down
GitHub - mihic/linux-intel-undervolt: Guide to linux undervolting for Haswell and never Intel CPUs
https://events.static.linuxfound.org/images/stories/pdf/lcjp2012_wu.pdf
Quotes of the week [LWN.net]