fluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログ
概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる？ 参考にしたブログ： tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
Fluentdとは - ぽにくすじゃないだいありー
fluentd | 23:34 | fluentdはプラグイン構造と構造化データとリアルタイム処理が特徴のログ収集ツールで、自由度がきわめて高くログを扱うためのクラスタを構築できる。入力・出力・バッファにそれぞれプラグインを使うことで、様々な入力を構造化し、様々なフィルタリングやバッファリングを行い、様々な出力先に出力することができる。いくつもの言語にFluentロガーが用意されているのでそれ経由で出力することもできるし、テキストログをパースすることで既存のシステムに変更を加えず新しくログ収集の仕組みを追加することもできる。あえて難点をいうとRuby1.9系でしか動かないので、Ruby1.9.xをインストールするか、td-agentというパッケージを導入しなければならない(td-agentに関してはまだ試してない。セッションを聞いた限りではRubyを同梱したfluentdパッケージだと思う
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
