WEB系各社で使われている監視ツールまとめ - mikedaの日記
次世代 Web カンファレンスで監視について話すことになったので、ネタとしてWEB系各社で使っている監視ツールを調査中。 うちはこれ使ってるよ！！！ってのがあったら@mikedaにメンションください！ Cookpad Zabbix 昔はNagios+muninだけど台数増えて性能的に破綻した ビューはそのままじゃ辛いのでmunin風に表示するのを自作 StatusCake DataDog。サービス系、サーバに紐付かない系の監視に。DashBoard便利 waker。通知用。PagerDuty高い、と言ってryot_a_raiが秒で作ったらしい Kibana imon。独自のリアルタイムなサービス稼働状況表示ツール NewRelic 試し中なもの Real-User Monitoring : JSでbeacon飛ばしてfluentd -> BigQuery。Google SpreadShee
InnoDBのウォームアップに別サーバでdumpしたib_buffer_poolを使ってみる - mikedaの日記
MySQLでスレーブを複数台並べている。 負荷増加やサーバ障害で新規スレーブを追加したい。 で、構築したばかりのMySQLスレーブをいきなりサービスに突っ込むとどうなるか。 それなりの規模のサービスであれば、buffer_poolが空っぽのDBだとIOがつまって応答遅延が発生します。 というわけでサービス投入前にbuffer_poolのウォームアップが必要で、方法としてはいくつか考えられます。 クエリを実行して主要テーブルのIndexをロードする 低い振り分け比率でサービスに投入してしばらく待つ tcpdump + (mk|pt)-query-digest等で既存スレーブのクエリを流し込む 基本的にサービス投入前の完璧なウォームアップは無理ゲーなので、 普段は主要テーブルのIndexを読み込んでから、低い振り分け比率でサービス投入、ディスクIO見ながら徐々に振り分け比率を上げていく、という
LVS/DSR + iptablesで切断したコネクションが消えなくてハマった - mikedaの日記
LVS+DSRでMySQLサーバの参照を分散してRailsから接続してみたところ、 デプロイごとにMySQLのコネクションが増えていくという事象が発生してハマりました。 ※Railsの持続的なコネクションだとそもそもLVSで分散できねーだろ、ってツッコミは今回は無しでお願いします・・・ 結論としてはLVS が FIN を落とすに書いてるとおり、LVSサーバのiptables設定がダメだったのですが、いちおう経緯を書いておきます。 iptables無しの状態 通常、MySQLに外部から接続すると $ mysql -utest -ptest -h192.168.1.111 tmp_app_development MySQLサーバ上にESTABLISHEDなコネクションが出来て、 [root@mysql01 ~]# netstat -an | grep 3306 tcp 0 0 0.0.0.0:
NFSの稼働状況確認 - mikedaの日記
稼働中NFSの状態確認コマンドをメモ書き クライアント側 マウント状況、オプションの確認 [root@nfs-client01 ~]# df -h ... 192.168.1.154:/tmp/ 65G 47G 15G 77% /mnt [root@nfs-client01 ~]# mount ... 192,168.1.154:/tmp/ on /mnt type nfs (rw,addr=192,168.1.154)チューニングのためrsize、wsizeを大きくしていたり、 サーバ停止時の対策としてsoft、intr使ってるなら、ちゃんと入ってるかチェックしましょう アクセス状況の確認 [root@nfs-client01 ~]# nfsstat -c Client rpc stats: calls retrans authrefrsh 1616 0 0 Client nfs v3:
サーバのリソース使用状況レポートを作る - mikedaの日記
数百台のサーバに対して CPU メモリ HDD の使用状況をサクッとチェックしたいなーと思ったのですが、さすがにmuninのグラフで見るのはダルすぎる。 というわけで日次でこういうページを作ってチェックするようにしました。 上記の情報が数字でダーっと並んでて、ついでに簡単に色付けとか、muninへのリンク張りとか、各項目でのソート機能付けたりとかをやってます。 CPUとメモリの使用率は前日の平均、ディスク使用率はバッチ実行時の値です。 最初はmuninのRRDファイルから作ろうかと思ったのですが（gist）、この程度の情報ならsysstatやdfの結果から作るほうが簡単なので、sshで集めてくることにしました。 とりあえずHTMLに出力してますが、CSVで出したりDBに突っ込んだりすれば各種調査に便利ですよ！ ソースコード Ruby1.9版です #!/usr/local/bin/ruby
Fluentd Meetup 2で話してきました - mikedaの日記
というわけでFluentd Meetup #2で話してきました！！！ Fluentd meetup #2 from Tomohiro Ikeda Fluentd & TreasureDataに関する使ってみた系の発表です。 資料みづらいっすねー ※『事前アンケートの結果、7割の人がFluentdを既に使っています』（ホントか！？）と言われてすごく焦りました。 で、GREE初突入、参加者200人、ということでドキドキワクワクだったわけですが・・・ 事前にプロジェクタのチェックをやっていなかった自分はまさかの大失態！！！ 当日はこんなありさまでした・・・ 自分の順番がくる（トリなので入れ替え不可能） PCをプロジェクタに接続するもうまく映らない いじってるうちにPCの画面が真っ黒に 再起動してもなおらない＼(^o^)／ｵﾜﾀ ファイルのバックアップ取ってない・・・ セーフモードで起動してみる
検証中のtd-agent（fluentd）の設定とか負荷とか - mikedaの日記
せっかくなのでアクセスログ関連のところだけ抜き出してみます。 構成 概要 Fluentdを使ってWEBサーバ（APPサーバ）のアクセスログを集約サーバに集約、いくつかの処理をやってます。 要するにこの3つです。 まとめてファイルに保存する（とりあえずやってみてるだけ） TreasureDataプラットフォームにデータを送信して集計可能にする Zabbixでサービスの稼働状況を可視化する TreasureDataプラットフォームに関しては前の記事で書いたように、簡単な管理画面を作って集計テストをしています。自社フレームワーク用のライブラリも作成するつもりです。 Zabbixを使った可視化はこんな感じです。 プラグインの構成図 td-agentはサーバごとに1プロセス、できる限りシンプルでFluentdっぽい使い方を心がけてます。 負荷 2億/dayくらいのログを突っ込んでみたところ、集約サー
zabbix_get使ってzabtop作ってみた - mikedaの日記
Zabbixには動作確認用にzabbix_getってコマンドがついてて、これを使うとCLIで監視してる値が取れちゃいます。 $ zabbix_get -stest-web01 -k"system.cpu.load[,avg5]" 1.460000けっこうサクサク動くので試しに複数サーバの状態をリアルタイム表示するコマンドを作ってみました $ ./zabtop test-web0{1,2} test-db0{1,2} HOSTNAME Load(1/5/15) Memory Swap us sy id wa test-web01 1.09/1.12/1.22 10.0% 0.0% 19 2 79 0 test-web02 1.78/1.18/1.08 10.3% 0.0% 19 2 73 0 test-db01 0.11/0.18/0.17 92.0% 0.0% 2 0 95 0 test-
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
