fluentd + mongodb+ node.js でリアルタイムにグラフを描く - stanaka's blog
追記 2/22 毎回微妙に追記していますが、今回も追記です。最後にmongodbのinsert性能について80lines/secで厳しくなった、と書いてますが、環境か設定まわりがあやしいので訂正します。もうすこし検証してみようと思います。 → 検証して fluentd側の設定の問題であることが分かりました。詳しくは、http://blog.stanaka.org/entry/2013/02/22/171053 追記ここまで 最近は、fluentd + mongodb でログを蓄積していろいろ便利に使っているわけですが、数分に一回集計スクリプトを周したり、 GrowthForecast の画面をリロードしまくるのではなく、もっとリアルタイムで見たい! という欲求が募ってきたので、 node.js を使って実装してみました。( https://github.com/stanaka/realti
開発メモ#6 : ログの取り扱い : GrowthForecast, Amazon S3, Treasure Data で心労ゼロ - naoyaのはてなダイアリー
開発メモ#6 です。前回から少し間があいてしまいました。 開発メモ#2 : AWS でのホスト / クラウドネイティブなデプロイ - naoyaのはてなダイアリー で書いたように、EC2 へのアプリケーションのデプロイにあたっては Elastic IP の利点を活かしてカジュアルにホストを入れ替えまくっています。ちょっとこのデプロイは慎重になりたいな、と思ったらスナップショットからインスタンスを立ち上げては切り替える、の繰り返し。 この運用をしていると、スナップショットとの差分ができやすいのは chef-solo で吸収するというのが前回、前々回のはなし。 もう一点問題があります。アクセスログやアプリケーションのログです。フロントエンドのサーバをあっちこっち切り替えているうちに、そのままではログが分断されてしまう。ホストを Terminate しようものならログは消失してしまいます。 この
便利ツール（9）アクセスログ解析ソフト「ApacheLogViewer」：：自宅サーバー構築ブログ
今回紹介するソフトは、Apache のアクセスログを解析するソフト「ApacheLogViewer」です。Windows 用のソフトウェアですが、LinuxでApacheを運用している場合でも、 ログの出力形式はNCSA形式で統一されているので、access_log さえ読み込ませれば、ログを解析・分析することができます。 アクセスログ解析には、Analog や Webalizer、awstats などのように、ブラウザで閲覧するタイプのアクセスログ解析ソフトがありますが、ApacheLogViewer では、GUI で視覚的に詳細なデータを閲覧する事ができるので非常に見やすく便利です。以下では、その他のアクセス解析ソフトと比べて、どこらへんが具体的に便利なのかを説明していきます。 ApacheLogViewer のダウンロード まず、個人的に特に重宝している点としては、特定のIPアドレス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://dl.dropbox.com/u/224433/fluentd_casual_1/index.html
