L2ARCの容量を増やしてみた
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 最近、ftp.jaist.ac.jpのストレージの負荷が限界に達していて、サービスの品質がかなり低下していました。CPUやネットワークではなくストレージが先に限界に達したのは、以前説明したとおり性能よりも容量を重視してRAID-Zを組んであるからです。ストレージの負荷を減らすために、メモリが192GBのサーバーにリプレースしてARCを増やす予定でしたが、準備に時間が掛かるので現行のサーバーのL2ARCを増やしてみました。 L2ARCとして追加したのは4つのPlextor M5 Pro 512GBです。これまでのL2ARCは4つのIntel X25-M 160GBで6
RAID-Zの読み込みのIOPSはなぜ低いのか
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 現在ftp.jaist.ac.jpはストレージの性能不足に悩まされています。ピーク時にストレージのI/Oが飽和して、スループットがやや低くなることがあります。ストレージは11本のHDDで組んだRAID-Z2を2組たばねて構成しています。読み込みのIOPSは、HDDが22本あるのに約600しか出ません。HDDのIOPSは約180出ているので、全体のIOPSはHDDの約3.6本分になります。 これはあくまでもキャッシュなしの性能です。読み込みのI/Oの98%はARCかL2ARCのいずれかにヒットするので、キャッシュ込みのIOPSは約30,000となります。最近はこれでも
mixiのサーバーOS移行について
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. mixiのサーバーOSの移行の話がブログ(mixiのサーバOS移行のお話、mixiのサーバOS移行のお話 - 前回補足＆インストール編)で公開されました。移行先がFedora 17だったことについて否定的な見解を示す人が多いです。私ならこの選択はしませんが、真っ向から否定するほど合理性を欠く選択だったとは思っていません。 移行する前はmixiはFedora 8で運用していました。 Fedoraプロジェクトによるパッケージの更新が止まったあとは、長年自力でメンテナンスしています。mixiのLinuxシステムは、当初のFedora 8とは大きく異なるものになっているはず
ARCミスを分析してみた
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 先日の障害で、ARCミスしたI/OがHDDで処理できるIOPSを超えていることがわかりました。そこでZFSへのアクセスのうち、どんなARCミスがどれくらい発生しているかを調べてみました。使ったのはこのDTraceスクリプトです。プロセスとファイルシステムのオペレーション(vnode operation)ごとに、ARCミスとL2ARCミスの発生回数を100秒間計測します。12月12日の16:30にHDDの負荷の平均が81.7%のときにデータを取りました。 ARCのヒット率は平均で93%ですが、ARCミスは1秒当たり1,709回発生していました。そしてL2ARCミスは1
L2ARCの仕組み
これは英語版の和訳です。 内容が重複する日本語の記事を2つ削除しました。 ZFSのL2ARCは名前こそL2ですが、CPUのL2キャッシュとは大きく異なっています。次の図はZFSのキャッシュの構造を示しています。L2ARCはHDDからARCに読み込まれたブロックのみをキャッシュします。ARCのHDDに書き込まれようとしているダーティなブロックはキャッシュしません。L2ARCとHDDの間のデータ転送はありません。ZFSは要求されたブロックがARCになくL2ARCにあったときに、L2ARCからARCに読み込んで返します. L2ARCはもうすぐARCから追い出されそうになっているブロックをキャッシュします。ZFSはARCを構成するLRUを後ろから一定の範囲走査して、まだL2ARCにキャッシュしていないブロックを合計のサイズがl2arc_write_maxに達するまで集めます。l2arc_write
大きすぎるl2arc_write_maxはよくない
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. この記事は全面的に間違えています。この記事はZFSのL2ARCの性能を向上させる方法として以下のものを紹介しています。 ZFSのレコードサイズを128KBよりずっと小さなものにする l2arc_write_maxをより大きくする l2arc_noprefetchを0に設定する これらすべては悪い結果しか生みません。 まず絶対にZFSのレコードサイズを特定の値に設定してはいけません。唯一の例外はZFSをDBMSに使うときだけです。ZFSは自動的にファイルごとにレコードサイズを適切に設定します。レコードサイズを設定するとこれが台なしになります。 L2ARCのSSDへの書
RAID-Zは遅いよ
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 以前紹介しましたが、ftp.jaist.ac.jpのストレージは2TBのDeskstar 7K2000を24個積んでいます。ZFSの構成は、11個ずつでRAID-Z2を2つ作りストライピングしています。残りの2個はRAID-Z2のスペアです。この構成の問題は読み込みのIOPS (1秒間あたりに可能な読み込み回数)がとても少ない低いことです。 RAID-Zは普通のRAIDと異なり、RAIDを組むディスクの個数を増やしても読み込みのIOPSは上がりません。普通のRAIDでは複数のブロックへのアクセスを複数のディスクで同時に行えるので、ディスクの数を増やせばIOPSが向上
Solaris 10のSMFの話をしよう
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. このエントリはカーネル／VM Advent Calendarの42日目のために書きました。 Solaris 9ではOSの起動時や終了時の処理は、/etc/init.dに格納されたシェルスクリプトによって行われます。実行される順序は、/etc/rc?.dに作成されたシェルスクリプトへのリンクの名前で決まります。リンクの名前は、開始のための処理はS、終了のための処理はKで始めて、次に2桁の数字を続けて処理の順序を制御します。 他のSystem V系のUNIXや、System V互換のinitを採用しているLinuxディストリビューションでも同様の方法が用いられています。
BufferedLogsは効果絶大
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. Apache HTTP ServerのBufferedLogsディレクティブは、マニュアルでexperimentalとされていたので今まで試していませんでした。BufferedLogsディレクティブを有効にすると、リクエストごとにログを出力せずに、いったんバッファに蓄えてまとめて出力するようになります。 マニュアルにはBufferedLogsディレクティブによってディスクアクセスが効率的になると書かれていますが、これが効いてくるのはむしろパイプ経由のログ出力です。ログがパイプに出力されて、パイプの反対側のプログラムが実行可能になる頻度が下がるからです。このところCP
ロードアベレージが1000を超えた
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 12月17日の未明にftp.jaist.ac.jpのロードアベレージが1000を超えました。気がついたときには峠を過ぎていて、15分平均がちょうど1000くらいで、1分平均は120くらいまで下がっていました。忙しい間はMRTGがsnmpdからロードアベレージを正しく取れていなかったため、残念ながら証拠が残りませんでした。UltraSPARC T1は32スレッド同時に処理出来るので、1000といってもシングルコア・シングルスレッドのCPUの31くらいですけどね。 12月16日の朝にFirefox 3.5.6がリリースされました。翌午前1時くらいにアメリカのからのアクセ
メモリを64GB積んでみる
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. Sunから贈られたSun Fire T2000にはメモリが16GB積まれていました。2006年秋から話が始まって、USの決裁が下りて実物が届けられたのは2007年5月です。8コアモデルにメモリ16GBですから、当時としてはがんばった構成だったと思います。16あるメモリスロットに、1GBメモリがぎっちり刺さっていました。 16GBのメモリに対して、普通の負荷のときのユーザプロセスによる使用量はわずか1.7GBで、残りのほとんどはカーネルメモリキャッシュでした。そのうちZFSのARCが7.7GBで、2.6GBは使われていなかったので、16GBで足りないと思ったことはあり
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Raspberry PiのSDカードイメージのミラーを始めました
ftp-adminの憂鬱: L2ARCの書き込みをdtraceで観察する
Ubuntuのアップデートを高速化する方法