タグ

ブックマーク / memocra.blogspot.com (4)

  • Fluentdってなんじゃ?(Mongo&Node編 ブラウザでtail)

    前回までで、fluentdを利用してApacheのログをmongoDBに保存することができました。 構成はこのようになっていました。 +----------------------------+ +------------------------+ | web server (10.0.0.8) | | mongo server(10.0.0.16)| |----------------------------| |------------------------| | fluentd | | | | | | | | +---------+ +--------+ | | +----------+ | | | input | | output | | | | fluent | | | |---------|+--> |--------| +--------->|----------| | |

    ya--mada
    ya--mada 2013/05/05
  • Fluentdってなんじゃ?(MongoDB編)

    今回は、fluentdを利用して、Apacheのログを別サーバーのMongoDBに保存してみようと思います。 前回のlogサーバー(10.0.0.16)にmongoDBホストし、webサーバー(10.0.0.8)のtd-agentから直接mongoに保存します。 まずはlogサーバーにmongoDBをインストールします。 yumリポジトリとして以下を追加してからyumインストールを行います。 # vi /etc/yum.repos.d/10gen.repo] --- [10gen] name=10gen Repository baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/i686 gpgcheck=0 --- # yum install mongo-10gen mongo-10gen-server -y mongo

    Fluentdってなんじゃ?(MongoDB編)
    ya--mada
    ya--mada 2013/05/05
  • Fluentdってなんじゃ?(Apache編)

    前回は同じサーバー内でコマンドからファイル出力を行いました。 内容としては以下のような流れです。 +--------------------------------------+ | server | +--------------------------------------+ | fluentd | | | | +-------------+ +------------+ | | | input | | output | | | |-------------| +---> |------------| | | |command(tcp) | | file | | | +-------------+ +------------+ | +--------------------------------------+ 今回はApacheのログを別のサーバーにファイル転送してみたいと思います

    Fluentdってなんじゃ?(Apache編)
    ya--mada
    ya--mada 2013/05/05
  • Fluentdってなんじゃ?

    今回はfluentdについて触れてみたいと思います。 普段サーバーの運用をしていて、規模が大きくなりサーバーが分散されるとWebサーバーやアプリケーションのログが各サーバーに散在することになり、ユーザーからの問い合わせや集計などのためにログをかき集めたりする必要が出てきます。 fluentdはイベントログをJSONフォーマットで転送して一箇所に集約するためのツールです。 集計などを行う場合、Apacheなどの生ログはテキストデータなのですが、fluentdを経由しJSON化することで、ログのデータをオブジェクトとして扱うことが出来るので、DBに入れてフィルタをかけて集計なども簡単に行えます。 また、fluentdは入力元となるログの種類や出力先の指定をプラグイン形式で様々なフォーマットに対応して、それぞれを組み合わせることで数多くの用途に答えることができます。 例えば以下のような入出力がで

    ya--mada
    ya--mada 2013/01/21
    json ただし ruby / fluentd とは
  • 1