cdimage.debian.org/cdimageのミラーを始めました
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. cdimage.debian.org/cdimageのミラーを始めました。ミラー先はftp.jaist.ac.jp/pub/Linux/debian-cdimageです。このディレクトリには開発中のバージョンのISOイメージがあります。ミラー元には古いリリース版のISOイメージもありますが、容量の都合でミラーしていません。 商用のISPはcdimage.debian.orgとの帯域が細いところが多く、ISOイメージのダウンロードに時間が掛かります。ftp.jaist.ac.jpとcdimage.debian.orgは学術系の回線で結ばれていて平均で7MB/s弱出ます
ARCミスを分析してみた
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 先日の障害で、ARCミスしたI/OがHDDで処理できるIOPSを超えていることがわかりました。そこでZFSへのアクセスのうち、どんなARCミスがどれくらい発生しているかを調べてみました。使ったのはこのDTraceスクリプトです。プロセスとファイルシステムのオペレーション(vnode operation)ごとに、ARCミスとL2ARCミスの発生回数を100秒間計測します。12月12日の16:30にHDDの負荷の平均が81.7%のときにデータを取りました。 ARCのヒット率は平均で93%ですが、ARCミスは1秒当たり1,709回発生していました。そしてL2ARCミスは1
yumで速いミラーサーバーを指定する方法
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. FedoraやCentOSなどのRed Hat系のディストリビューションで、yumに速いミラーサーバーを自動的に選択させる方法として、fastestmirrorプラグインのインストールを勧めている記事がたくさんあります。しかし、これらのディストリビューションの最近のバージョンでは、最初からfastestmirrorプラグインがインストールされているのでその必要はありません。では何もしなくても速いミラーサーバーが使われるかというと、そんなことはありません。 fastestmirrorは必ずしも速いミラーサーバーを選択しません。yumはリポジトリの設定のmirrorli
ミラーの運用について
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. ftp.jaist.ac.jpが提供しているのは、オープンソースソフトウェアのプロジェクトが提供しているコンテンツの複製、いわゆるミラーです。現在35のプロジェクトのコンテンツをミラーしています。一つのプロジェクトが複数のコンテンツを提供している場合があるので、ミラーの設定は52あります。ミラーの状態をあらわす表を見ると、どんな設定があるかわかります。 この表に一覧してあるのは、ミラーの設定ファイルの名前とそれぞれについてミラーが最後に完了した時刻です。プロジェクトごとにアカウントを作ってあって、基本的に各アカウントのcrontabで設定した時刻にミラーを実行してい
FirefoxがCDNで配布されるようになりました
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. このMozilla.orgのブログ記事によると、Firefoxの配布を従来のミラーネットワークからCDNに切り替えたとのことです。CDNのIPアドレスを調べたところEdgeCast Networksのものでした。Firefox 14のリリースのときに実験したところ、ダウンロード数に対するインストール数の割合がCDNのほうが高かったので、切り替えることにしたそうです。 Mozilla.orgのミラーネットワークでは、ダウンロードのリクエストに対して必ずしも速いミラーサーバーが割り当てられるわけではありません。遅いミラーサーバーを割り当てられたユーザは、ダウンロードをや
ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/...
以下のURLにアクセスできるのを見て、「おかしいんじゃないか」とか、「どんだけUbuntu好きなんだよw」とか言っているのを、ときどきtwitterで見掛けます。 http://ftp.jaist.ac.jp/pub/Linux/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ubuntu/ これは/pub/Linux/ubuntu/にubuntu -> .というシンボリックリンクがあるだけです。そのため、パスに含むことができるシンボリックリンクの数の最大まで、ubuntuを繰り返せます。ftp.jaist.ac.jpはSolaris 10なので20個です。 ミ
パイプ経由のログ出力はCPUを浪費する
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. Apache HTTP Serverでログをパイプ経由でプログラムに出力すると、リクエストを処理するたびにログを処理するプログラムへのコンテキストスイッチが起こります。そのためアクセスが増えたときにCPUをかなり浪費します。UltraSPARC T1は32個のコンテキストを保持できて、1クロックでコンテキストスイッチできるので問題ないと思っていました。しかし、CPUの使用率が100%に達して、さらに負荷が掛かる状況になると違いました。 ftp.jaist.ac.jpにはパイプ経由のログ出力が3つあります。エラーログとアクセスログのrotatelogsへの出力と、以前
ロードアベレージが1000を超えた
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 12月17日の未明にftp.jaist.ac.jpのロードアベレージが1000を超えました。気がついたときには峠を過ぎていて、15分平均がちょうど1000くらいで、1分平均は120くらいまで下がっていました。忙しい間はMRTGがsnmpdからロードアベレージを正しく取れていなかったため、残念ながら証拠が残りませんでした。UltraSPARC T1は32スレッド同時に処理出来るので、1000といってもシングルコア・シングルスレッドのCPUの31くらいですけどね。 12月16日の朝にFirefox 3.5.6がリリースされました。翌午前1時くらいにアメリカのからのアクセ
ZFSはRAIDと相性が悪い
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. Sun Fire T2000には最初、2GbpsのFibre Channelに対応したSATAのディスクアレイを2基つないでいました。それぞれ14D+1P+1SのRAID 5にして、2つのvdevでZFSのpoolを1つ作りました。これはRAID 5+0に相当します。 しかし、この構成はまったく性能が出ませんでした。負荷がほぼ100%のときにディスクアレイ1基あたりで約20MB/sしか出ません。1基20MB/sなら2基合わせて40MB/s、ビットにすると320Mbps、ARCの助けを借りても、ftp.jaist.ac.jpの出力帯域は450Mbpsがいいところでした
KeepAliveTimeoutは2秒
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 先日行われた第二回 ライブドア テクニカルセミナーをustreamで見ました。pixivの中の人の話が聞けて面白かったです(資料と動画はこちら)。 そのときに出てきたのが、Apache HTTP ServerでKeepAliveTimeoutを2秒に設定しているという話です。MPMもpreforkでもworkerでもなくeventで運用しているとのことでした。eventならKeepAliveTimeoutを伸ばしてもいい気がするのですが、「安全のため」2秒にしているそうです。ちなみにftp.jaist.ac.jpのKeepAliveTimeoutも2秒です。 HTT
メモリを64GB積んでみる
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. Sunから贈られたSun Fire T2000にはメモリが16GB積まれていました。2006年秋から話が始まって、USの決裁が下りて実物が届けられたのは2007年5月です。8コアモデルにメモリ16GBですから、当時としてはがんばった構成だったと思います。16あるメモリスロットに、1GBメモリがぎっちり刺さっていました。 16GBのメモリに対して、普通の負荷のときのユーザプロセスによる使用量はわずか1.7GBで、残りのほとんどはカーネルメモリキャッシュでした。そのうちZFSのARCが7.7GBで、2.6GBは使われていなかったので、16GBで足りないと思ったことはあり
SSDによるコンテンツキャッシュ(ソフト編)
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. ZFSにはSSDをキャッシュに使ってランダムリードの性能を稼ぐL2ARCという仕掛けがあります。L2ARCはOpenSolarisでは使えるのですが、Solaris 10ではまだ使えません。10u6 (10/08)で使えるようになると言われていたのが延期されて、今年の10u7 (5/09)で使えるだろうと思っていたのが、また延期されてしまいました。実は10u7に合わせてSSDを購入したのですが、当てが外れてしまいました。 仕方ないのでバージョン2.2から実用可能になったApacheのmod_disk_cacheを使おうかと思ったのですが、これがうまくありませんでした
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ubuntuのアップデートを高速化する方法