LVS DSR で、リアルサーバの設定を見直したお話 | Carpe Diem
今までずっと LVS DSR で、リアルサーバでは iptables に、次のようなルールを追加した REDIRECT していましたが、iptables のオーバーヘッドが気になったので、lo:0 を定義するように変更してみました。 *nat : PREROUTING ACCEPT [0:0] : OUTPUT ACCEPT [0:0] : POSTROUTING ACCEPT [0:0] -A PREROUTING -d VIP -j REDIRECT COMMIT 1.lo:0 を定義する $ sudo vi /etc/sysconfig/network-scripts/ifcfg-lo:0 DEVICE=lo:0 IPADDR=VIP NETMASK=255.255.255.255 ONBOOT=yes 2. lo:0 を起動する $ sudo ifup lo:0 3. sysctl
Apache チューニング Tips | Carpe Diem
先日、Web サーバ勉強会 #2 が開かれました。内容は、Apache のチューニングということで、参加したかったのですが、他の予定があって参加できませんでした。 そこで、僕が個人的に行っている Apache のチューニングを紹介したいと思います。最初、スライドで作成しようかと思ったのですが、ブログにまとめたほうがよさそうなのでブログにまとめていきます。 まず、大前提として Apache をチューニングするうえで、大事なことはその Apache が提供する Web サービスの種類のよって大きくチューニングする内容が異なるということです。例えば、動画・写真共有サービスと株価情報のサービスを比較すると、当然のことながら大きくサービスの内容が異なりますし、HTTP レベルでみるとクライアントからのリクエスト数、データサイズ、などがかなり違ってきます。 ですので、まずは自分が扱っているウェブサービ
tcptrack | Carpe Diem
tcptrack というコマンドを知りました。tcptrack は、現在の TCP コネクションの情報を top のように表示してくれるツールです。 さっそく、試してみました。 $ wget http://www.rhythm.cx/~steve/devel/tcptrack/release/1.3.0/source/tcptrack-1.3.0.tar.gz $ sudo yum install libpcap-devel $ rpmbuild -ta ./tcptrack-1.3.0.tar.gz これで、さくっと RPM を作成することができます。 さっそく使ってみます。 $ sudo tcptrack -i eth0 そうすると、次のような画面になります。デフォルトだと、２秒おきに表示が更新されます。 libcap を使って、現在の TCP コネクション情報を取得しているため、けっ
The Art of Mixi-mobile-appli Capacity Planning | Carpe Diem
2009年も残すところあと僅かになりました。今年のネット業界にはたくさんのことが起きましたが、国内でもっともインパクトがあったのは日本最大の SNS サイト mixi がついに OpenSocial 対応になったことだと思います。 今日現在、PC 版とモバイル版の2種類が提供されており、PC 版は企業と個人、モバイル版は企業のパートナー契約を結んだ会社のみ開発して公開できるようになっています。 さて、mixi のモバイル版が公開された直後は、アクセス殺到にて軒並みモバイル版のアプリケーションを提供しているパートナー企業のサーバに大きな負荷がかかって、ほとんどの mixi のモバイルアプリが使えない状況になったのは記憶に新しいです。3日で約60万人ユーザも集める人気アプリも数多く登場した様子です。 今日は、もし仮に僕が 2010年1月1日に mixi モバイル版アプリを提供することになったこ
The Art of モバゲー Capacity Planning | Carpe Diem
さて、2009 年も残すところ、あとわずかとなりましたが、今日はモバゲー版のキャパシティプランニングを考えてみましょう。モバゲー版は、まだ実際にはサードパーティ製のアプリが公開されていない状況だとは思いますが、開発サイトが公開されています。モバゲー版も、mixi モバイルアプリ版と同様に、パートナー企業のみが開発できるようになっています。 まず、モバゲーの規模を知るために、 月次推移のご報告（平成21年10月度）を見てみましょう。この資料から、2009 年 10 月時点での PV は、次のようになっています。 会員数: 1527 万人 月間 PV: 約 238 億 PV 単純平均して、日間にすると約 8 億 pV、秒間にすると約 9,259 PVになります 次に、モバゲーの成長速度を計るため、月次推移のご報告（平成21年8月度）を見てみましょう。この資料から、2009 年 8 月時点での
PassengerHighPerformance | Carpe Diem
passenger を使っていて今まで知らなかったのですが、PassengerHighPerformance の設定があります。以下、意訳です。 デフォルトでは Phusion Passenger は mod_rewrite とほとんどの Apache モジュールとの互換性をもっっています。しかしながら、この互換性によって影響も少なくありません。もし PassengerHighPerformace を on にすると Phusion Passenger はすこし早く高速になるかわりに他の Apache モジュールとの互換性がなくなってしまうかもしません。 PassengerHighPerformance をオンにした箇所では、mod_rewrite ルールは正しく動作しないかもしないかもしれません。mod_autoindex も動作しないでしょう。他の Apache モジュールも動作しない
MySQL 5.1 on CentOS | Carpe Diem
CentOS 5.3 x86_64 上で MySQL 5.1 をインストールしたいため、自分で RPM を作ってみました。いろいろと検索した結果、Fedora の CVS にあるものが最新でかつ、既存の MySQL 5.0 系と同じような SPEC ファイルのため、これを使うことにしました。 まず、CVS で checkout します。 export CVSROOT=:pserver:anonymous@cvs.fedoraproject.org:/cvs/pkgs cvs co mysql そうすると、mysql/devel に MySQL 5.1 系(今日現在では、5.1.34) の SPEC やらパッチファイルなどがあります。SPEC ファイルを ~/rpm/SPEC に、パッチファイルや SPEC ファイルに書かれているパッチやシェルスクリプトなどを ~/rpm/SOURCES に
rpmdevtools | Carpe Diem
RPM をビルドするための環境を作るのはけっこうめんどうなわけですが、RPM のビルド環境を手助けしてくれる rpmdevtools というツールがあります。公式ページにもあるとおり、rpmdevtools には次のツールが含まれています。 rpmdev-setuptree: ユーザのホームディレクトリ内に RPM のビルドツリーを作成する rpmdev-diff: 二つのアーカイブの内容の差分を表示する rpmdev-newspec: テンプレートから新しい .spec ファイルを作成する rpmdev-rmdevelrpms: “development” RPMS から検索する rpmdev-checksig: RPM 署名をチェックする rpminfo: 実行ファイルやライブラリついての情報を表示する rpmdev-md5: RPM のすべてのファイルの md5sum を表示する r
ngIRCd のすすめ | Carpe Diem
自分のサーバに IRC サーバを構築したいときは、IRCD-Hybrid を使うのが一般的だと思う。しかし、この IRCD-Hybrid はいかんせん設定ファイルの変更方法が分かりにくい、設定ファイルの雛形をみると所々に OLD とか書いてあって必要な設定なのか任意で必要なのかよく分からない。なんとか設定してみたが、本当にちゃんと設定されているか不安になったので削除してしまった。 そこで、他のオープンソースな IRC サーバはないかなと探してみたところ、ngIRCd というがあった。ngIRCd は、その名前のとおり次世代の IRC サーバとして開発されている。ライセンスは、GPL。なんといっても「Simplicity」ということで設定ファイルがとても簡単なのが特徴的で、これぞまさに探していた IRC サーバ！！！設定ファイルの雛形をみても、コメントがちゃんと分かりやすく書いてあって素晴ら
Operations Efficiency Hacks Web20 Expo2009 | Carpe Diem
Web 2.0 Expo 2009 で、Art of Capacity Planning の John Allspan さんの資料がアップロードされていたので、さっそくチェックしてみました。スライドは、100 枚以上もあるので個人的にピンときた項目だけまとめておきます。 Flickr の数字データ MySQL データ: 24TB MySQL 書き込み速度: 32k/sec MySQL 読み込み速度: 120k/sec 6PB の写真データ 1 日あたり 10TB のストレージ容量を使う 15,362 のサービス死活監視 PHP5 への移行 PHP 4.4.8 から 5.2.8 へ移行したら CPU の使用率を約 15% 減らすことができた イメージ加工処理 2004 年 Flickr は ImageMagick バージョン 6.1.9 を使っていた GraphicsMagick バージョン
MySQL の wait_timeout と thread_cache_size の関係 | Carpe Diem
Jeremy Zawodny 氏のブログに MySQL, Linux, and Thread Caching という興味深い記事があったので、理解するために自分翻訳してみた。この記事は、今はないけれども rember.yahoo.com で MySQL を使ったときの話のようです。ちなみに MySQL のバージョンは 4.0.4。 わぉ、とても忙しい一週間だった。私は、remeber.yahoo.com の MySQL サーバや関連するものごとに実に何日かを費した。そして、私は1日か2日を休息に使った(睡眠やシャワーなど) ところで、私はいくつか興味深い発見をした。もっとも驚いたことは MySQL サーバがとても忙しくなったときの Linux 上でのスレッドキャッシングの挙動だ。ポイントは、忙しいときのみということだ。忘れずに。 あなたも分かっていると思うが、われわれがすべてのウェブサーバ
CentOS をインストールしたあとに、まず行う設定 | Carpe Diem
野良で CentOS をインストールしたあとに、まず行う設定をまとめておく。 SSH を公開鍵認証のみにする、SSH のリロードをしてから ssh -v で公開鍵認証のみになっていることを確認する sudo の設定をしてから、root アカウントを無効にする (sudo passwd -l root) 不要なサービスを停止する (下のようなシェルスクリプトを準備しておくと便利） iptables の設定を確認する (iptables の設定は /etc/sysconfig/iptables にあるので雛形を作っておくと便利） 時刻を NTP であわせる ipv6 を使っていないならオフにする ZeroConfiguration をオフにする (/etc/sysconfig/network に NOZEROCONF= yes を追加して、sudo /etc/init.d/network re
CentOS Xen Dom0 での bonding | Carpe Diem
CentOS 5.2 x86_64 の環境で、Xen の導入を検討しています。CentOS 5.2 x86_64 に xen をインストールして、ARP による NIC bonding を設定した。Xen の設定ファイルの /etc/xen/xend-config.sxp の network-script の設定を次のように変更した。 (network-script ‘network-bridge netdev=bond0’) この状態で再起動すると、ネットワーク通信ができるのだが、audit から次のようなメッセージが arp_interval ミリ秒ごとにコンソール画面に表示し続ける現象が発生した。そのメッセージが表示されるとき、ネットワークが一瞬切れるように安定しなかったので原因を調べてみた。 調べてみると、RHEL 5 のバグとしてあがっていた。まさに同じ現象で、RHEL ではすで
自作プログラムをデーモンにする | Carpe Diem
自作のシェルスクリプトをデーモンにするプログラムに、start-stop-daemon というものがあるみたいです。しかし、これは CentOS では提供されていないので、何かいいのがないかなと思って調べてみたところ、start-stop-daemon を C 言語で実装し直したバージョンがあることが分かった。 さっそくインストールしてみた。 プログラムを展開する gcc start-stop-daemon.c -o start-stop-daeemon してコンパイルするだけ 本番サーバに展開したかったので、RPM を作った。SPEC は start-stop-daemon,spec においておいた。 start-stop-daemon をインストールしたら、TokuLog にあるような簡単に sysinit スクリプトを書くだけでデーモンにできる。 これは、便利だわ。
Carpe Diem
このエントリは、Datadog Advent Calendar 2016 の 10 日目のエントリです。 2016年を振り返ってみると、Datadog をフル AWS の本番システムに導入して本格稼働している年でした。 実はまだまだすべての設定は完了していないのですが、2016年の自分と Datadog について、どのような関わりがあったのか、このエントリで振り返ってみたいと思います。 2016年2月 フル AWS のシステム向けのモニタリングツールで Datadog を導入することが正式に決まりました。 そこで、チーム向けに Datadog について簡単に紹介してしほしいと相談されたので、まずは Datadog 入門編のスライドで紹介しました。 このスライドでは、Datadog の一通りの機能を紹介しています。 2016年8月 こうして、Datadog Agent を導入していたのですが
Cacti Plugin まとめ | Carpe Diem
サービスの状態監視にはよく Cacti を使うけれど、Cacti Plugin Architecture をインストールすると、さまざまな Cacti プラグインを使うことができる。Cacti プラグインのページを見てみると、たくさんプラグインがある。とりあえず、全部試してみたので、Cacti Plugin をまとめておく。 Boost: 大規模サイト向けに特化した Cacti のパフォーマンスをあげるためのプラグイン（今は必要ないけれど、PNG 形式のグラフのキャッシュしたりすることができる） Discovery: SNMP が有効になったホスト情報を discover タグに表示するプラグイン（そのページから Device を追加することができる） Docs: Cacti ないの簡単なドキュメントを保存することができるプラグイン（Management -Documents メニュー）
一階層下までのディレクトリの使用量を取得する | Carpe Diem
Archives January 2017 (1) December 2016 (2) October 2016 (2) August 2016 (2) June 2016 (3) May 2016 (3) February 2016 (3) January 2016 (6) December 2015 (4) November 2015 (1) July 2015 (1) December 2014 (4) November 2014 (1) October 2014 (2) August 2014 (1) July 2014 (1) June 2014 (2) April 2014 (4) February 2014 (3) January 2014 (1) December 2013 (2) September 2013 (1) August 2013 (3) July 2013 (
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mod_log_rotate のススメ | Carpe Diem
RPMForge を設定してみた | Carpe Diem
CentOS での sudo ではまったメモ | Carpe Diem