【作業メモ】Apacheログをfluentd+MongoDBで収集しRubyで集計してみたが… - FAT47の底辺インフラ議事録
ものすごく流行の波に乗り遅れた感がありますがfluentd入れてみました。 fluentdとは 作者の古橋さんのブログから引用 http://d.hatena.ne.jp/viver/20110929/p1 - fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 - ログを素敵な感じで別サーバに転送、集約することが可能です。 ログはJSON形式で構造化されているのでログデータが利用しやすいのも特徴です。 手順 ※前提としてapacheが稼働済みであるとします fluentdインストール yumでさくっと vim /etc/yum.re
Facebook、データセンター自動化ツールにChefの新バージョンを全面採用、Erlangでスケーラビリティ拡大。Opscodeが発表
Facebook、データセンター自動化ツールにChefの新バージョンを全面採用、Erlangでスケーラビリティ拡大。Opscodeが発表 世界最大級の規模のサーバを運用しているFacebookでは、データセンターにサーバを投入したり、既存のサーバのコードをアップデートする膨大な作業が毎日発生しています。特に同社は開発したコードをすぐにデプロイし、利用者からのフィードバックを迅速に開発へ反映させるDevOpsと呼ばれるスタイルを採用していることから、大規模かつ柔軟性の高いデプロイツールが欠かせません。 そこで必要なのがこうしたサーバのコンフィグレーションをデータセンター規模で自動化してくれるツールです。その1つとしてよく知られるのがChef。Rubyで書かれており、コンフィグレーションの内容や手順を記述するレシピ（Recipe）やクックブック（Cookbook）を用いた柔軟なデータセンター自
LgR on Fluentd & MongoDB: Railsが吐いたJSONをfluent経由でMongoに突っ込んで集計 – 6109.hidepiy.com
Overview create JSON formatted log from Rails send log using fluent-agent-lite receive log using Fluentd save on local file & MongoDB map & reduce on MongoDB @さくらのVPS 2G with Debian GNU/Linux testing (wheezy) install Ruby & Rails rbenv使って入れてみる $ git clone http://gitweb.hidepiy.com/git/dotfiles.git $ cd ~ $ /bin/bash ~/dotfiles/init.sh $ vim hogehoge :BundleInstall しばし待つ。。。 $ zsh $ sudo aptitude in
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
