オブザーバビリティには限りがない話
先日NewRelicの清水さんにマンツーマンでオブザーバビリティの話をきかせてもらえるという貴重な経験をした。長年アプリケーションレイヤーも含んでシステム運用の経験があると「あるある」な話なのだが、次のようなことが起こる。 何か不具合や障害が起こる 該当時刻のエラーログなどを見るが情報が少なく、原因を特定する決定打に欠ける 次回、また同じことが起こったときには原因を特定できるように、printfデバッグするコードを大量に埋め込んだバージョンに更新して、デプロイする もう一度起こるのを待つ これは最初の状態が「オブザーバビリティに欠けた状態」だったと言える。めちゃ納得してEnter Sandmanくらいヘドバンして頷いてしまう。 僕の経験上このようなケースを避けるために良い結果を出してきたのは、Javaの例外が出た箇所でスタックトレースを取得しておくことだ（僕らは単にログファイルに吐いておい
xtail: 複数のファイルを同時監視してアップデートを表示
B! 15 0 0 0 xtailは 前回紹介したmultitail と同様アウトプット監視ツールですが、 こちらはディレクトリ丸ごとアップデートを監視したりすることが出来ます。 xtail インストール 使い方 まとめ xtail インストール Macなら $ brew install xtail apt-getが使えれば1 $ apt-get install xtail yum/apt-cygには無いっぽい？ もしくはソース をダウンロードしてコンパイル。 $ cd /tmp $ wget http://www.unicom.com/files/xtail-2.1.tar.gz $ tar xzf xtail-2.1.tar.gz $ cd xtail-2.1 $ ./configure --prefix=/usr/local/ $ make $ sudo make install 等
GoAccess - Visual Web Log Analyzer
What is it? GoAccess is an open source real-time web log analyzer and interactive viewer that runs in a terminal in *nix systems or through your browser. It provides fast and valuable HTTP statistics for system administrators that require a visual server report on the fly. Why GoAccess? GoAccess was designed to be a fast, terminal-based log analyzer. Its core idea is to quickly analyze and view we
GoAccessでリアルタイムにアクセスログを解析する - Qiita
GoAccessとは GoAccessは、ターミナル上で動作するリアルタイムログ解析ツールです。 Apacheのログをコマンドライン引数に与えると、リアルタイムにリクエストされているURLやアクセス元ホスト、ステータスコードなどを集計し、画面に表示します。 導入 Macユーザーであれば、Homebrewを使うと、brew install goaccessを実行するだけでインストールできます。 *NIX系の環境であればGoAccessのインストール方法を参照してインストールしましょう。 Ubuntuでは、apt-get install goaccessでもインストールできるようですが、Ubuntu 12.04ではGoAccessのバージョンが0.4.2(GoAccessの最新バージョンは0.7)となっていたので、可能であればソースからインストールするのがよいでしょう。 環境によってはlibg
ログ解析ツール「Splunk」を使ってみた - カイワレの大冒険 Second
先日、qpstudyに参加してきた@masudaKです。@ar1さんと話しながら、荒木さんがLTでお話されたログの話をブログにあげたら、 僕も書きます−と言ってしまったので、ちょいと書いてみます。 荒木さんの記事・発表ではSumoLogic中心に書かれてましたので、Splunkを試してみました。 Splunkとは んで、Splunkとは何かということですが、製品概要をみてみると、以下のように書かれています。 1 2 3 4 5 6 7 8 パワフルな検索、分析、および視覚化機能。数千社に及ぶ導入実績。すぐに始められます。 Splunk Enterprise はマシンデータ用のプラットフォームです。 すべての IT システムやテクノロジーインフラストラクチャから生成される膨大なマシンデータを収集、分析、および保護する簡単、スピーディかつ柔軟な方法を提供します。 問題のトラブルシューティングや
Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法
監視とは継続的なテストである、という話 (もしくは cronlog とテストスクリプトを組み合わせた監視手法について)に続きます 今日ようやく、積ん読状態だった「Software Design 2010年1月号」を手に取ったのですが、特集が「今日から使えるスクリプト満載！ [プロ直伝]お手軽サーバ監視術」。興味深く拝読したのですが、もっと楽ができるのにと思うところも。ちょうど、昨年末に運用しているサービス「パストラック」のサーバを移転し、crontab と perl で書かれたスクリプト群を使った監視環境を構築したところなので、そこで使っているスクリプト cronlog を紹介したいと思います。 特集の前書きにも書かれていることですが、サーバやネットワーク機器が多数ある環境なら、Nagios を始めとする、専ら監視のために作られたソフトウェアを使って、監視システムを構築すべきです。逆に小規
logentriesでnginxのエラーを監視する - komagataのブログ
小さいrailsサービスあるある railsで何かサービスを作ったとする。ExceptionNotificationも入れた。NewRelicで5分毎に死活監視もしてる。なのに「落ちてるみたいです」とTwitterで言われる。 nginx + unicornの組み合わせでアクセスが増えた時、大抵真っ先に起こるのがunicornのtime out。 2013/02/08 18:36:10 [error] 20932#0: *3506622 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 〜ってやつ。 重いDBのクエリとかでアクセスをさばくスピードより接続数が増えてきて起こる。railsアプリまで処理が行かないのでExceptionは起こらない
【メモ】swatchを使ったリアルタイムなログ監視＠今時の環境 | Pocketstudio.jp log3
◆linuxのリアルタイムなログ監視と、メール通知のシンプルな方法 swatch (Simple Log Watcher)は、古くからあるリアルタイムにログを監視するツールです。tailコマンドを拡張したようなイメージで、特定の文字列がある行を強調したり、色をつけるほか、メールを送信したり任意のコマンドを実行することもできます。 久々に使う機会が出て、少しはまった所があったので、自分のφ(..)メモメモ ◆swatch linuxで、リアルタイムにログを監視する方法といえば、tail コマンドの出番が定番でしょう。tail に -f オプションをつけて、画面を眺める手法。古くからも、そして現在でも一般的に通用する手法だと思います。 ただ、tail -f に弱点があるとすると、 リアルタイムで人間が画面に張り付かなくてはいかない点 ログが増えすぎると、目で追えなくなる点 どうしても、人間の属
dstatの結果をfluentdで取得して、WebSocketで送りつけるリアルタイムリソース監視アプリを作ってみた。 - from scratch
Tuppari公開記念Hackathonで作ろうとした奴を作ってみました。 ごめんなさい、micro instanceなのでアクセス過多で動かない時があるかもしれません、ちょっと調整中です。 リアルタイムリソース監視アプリ yosuke-furukawa/dstatwatcher · GitHub WebSocketを使ってリアルタイムにリソース監視したりログ監視したりするのは正直よくあるやつなのですが、fluentd使ってみたかったというのと、highchartを本業の方で使おうか迷った挙句、使えなかった経緯があったので、使ってみようと思って作成してみました。 大体、↓の感じの流れでやってます。 Fluentdとdstatのつなぎの部分にはfluent-plugin-dstatを使用しています。 shun0102/fluent-plugin-dstat · GitHub これを使うと、d
Scientific Linux6.2 で GrowthForecast のプロセスを monit で監視したメモ - do_aki's log
概要 Scientific Linux6.2 に GrowthForecast を導入したメモ - do_akiの徒然想記 の続き。 当初は daemontools で監視するつもりだったのだけど、 RHEL6 系だと動かすのが面倒だという話を聞いたので(未検証です) monit を利用することに。 1分毎にプロセスをチェックして、死んでたら起動するようにした。 monit 導入 $ sudo yum install yum-conf-epel $ sudo yum install monit monit は epel リポジトリに含まれるので、 epel の yum 設定を追加してから install する。 ベースの設定はこんな感じ /etc/monit.conf # 60秒ごとにチェック / 起動後 2分経ってから監視開始 set daemon 60 with start delay
logmonとMaatkitでMySQLレプリケーションエラーから自動復旧 - Glide Note
昨日からMySQLのレプリケーションで特定のエラーが発生して止まってしまう現象が多発したので、logmonとMaatkitのmk-slave-restartで自動復旧するようにして対応。 エラー原因の根本解決じゃないですが、エラー検知して対応するまでレプリケーションが止まったままとか、 深夜にレプリケーションが止まって叩き起こされるよりかは遙かにマシ。 logmonの導入 logmonについては以前ブログに書いたので、そちらを参照してください。 とりあえず下記のような感じで導入可能です。 mkdir ~/tmp cd ~/tmp wget 'http://www-06.ibm.com/jp/domino01/mkt/cnpages7.nsf/ec7481a5abd4ed3149256f9400478d7d/4925722f004efe92492575e200057580/$FILE/log
fluent-plugin-zabbix リリース - 酒日記 はてな支店
fluentd の出力プラグイン、fluent-plugin-zabbix をリリースしました。 Github fujiwara/fluent-plugin-zabbix https://github.com/fujiwara/fluent-plugin-zabbix fluent-plugin-zabbix | RubyGems.org https://rubygems.org/gems/fluent-plugin-zabbix] 監視とメトリクス収集に Zabbix を使っているので、fluentd で収集した値を zabbix に送って扱いたかったのです。 挙動としては zabbix_sender でホスト側から送信するのと同様です。主に datacounter や flowcounter で集計した値を送るのを想定していますが、送信頻度に気をつければなんでも送れると思います。 作成
ログ監視ツールをswatchからlogmonに切り替えた | Glide Note - グライドノート
プロのための Linuxシステム構築・運用技術にlogmonというログ監視ツールが載っていたので、導入してみました。 IBMサーバの管理ツールIBM Systems Directorが出力するログを監視する用途で公開されている(?)ようですが、通常のlinuxサーバのログ監視にも普通に利用出来ます。同じくログ監視ツールであるswatchと比較して、導入と設定が簡単な印象を受けました。利用できるのはRed Had系OSだけのようです。 導入した環境はCentOS5.5で、導入手順は下記のようになります。 ファイルのインストール logmonは下記のページで公開されています。 IBM Linux at IBM | IBM Systems Director で利用できるログファイル監視用スクリプト wgetやcurlだとダウンロード出来なかったので、上記ページの一番下に公開されいている20
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - getsentry/sentry: Developer-first error tracking and performance monitoring
cohakim's blog » muninでRailsのアクセス統計プラグインを使う