IO Accounting 機能で I/O 負荷の高いプロセスを特定

随分久々の Linux ネタです。以前にロードアベレージに関する考察などの記事も書きましたが、多くのサーバーサイドエンジニアはサーバ負荷と日々戦っていることかと思います。過去多くの場合、負荷の原因特定はおおよそ下記のような手順で分析をしていたことかと思います。※詳しい手順は別エントリとして記載予定。 top をみて上位に張り付いているプロセスを確認しつつ CPU or I/O のどちらが原因か判別 ps を使ってプロセスの状態を確認して(T),(D)の状態から CPU or I/O のどちらが原因か判別 vmstat で procs の r, b の数、swap の si, so の状態、I/O の bi, bo の状態を確認 iostat を使って disk の read/write の状態をさらに詳しく確認 sar を使って os の状態をさらに詳しく確認 おおよその原因特定から設定を

[haryu0320]

[I/O負荷]

[halohalolin]

top/ps/vmstat/iostat/sar/dstatを使った問題のあるプロセス調査

[WhatAmILookingFor]

IO Accounting の値を分析すれば負荷の原因特定に近づくことができるのですが、自前で /proc/[pid]/io を分析するには骨が折れます。そんなわけでツールを使います。

[kyart]

サーバーのロード

[msh514]

ロードアベレージ プロセス　特定

[zsiarre]

dstat Linux tool

[Hash]

dstat --top-bio なるほどこれ便利

[rx7]

[I/O]

[tzccinct]

dstat -M topbio -al

[napsucks]

CPUはもはやgood enoughな速さになってるから、あとのボトルネックはIOだね。