ログ収集基盤のFluentdとFlume NG、どちらが使いやすい？
ログは、システムの障害解析（デバッグ）や運用モニタリングに使うことを想定して、コンピュータに発生したイベントの履歴を時系列に沿ってファイルに出力したものである。有用なデータではあるが、扱いにくい面がある。そのため、複数のログを突き合わせて分析するといった活用が難しく、従来はもっぱら一つのログを単独で利用するにとどまるケースが多かった。 扱いにくい面とは、例えば「ログを一括して処理するには対象ログを各サーバーから収集しなければならない」「ログはサイズが大きくなりがちなので収集する場合は一部を抜き出すなどの加工が必要」といったことである。ログに新たなデータが書き込まれた際に、それを即座に取り出す手段が用意されていないこともそうだ。 こうしたログの扱いにくさは、「ログ収集基盤」と呼ばれるソフトウエアを使うことで克服可能である。ログ収集基盤は、複数のログを結び付けて分析する際などに必要な、対象ログ
Flume
1. Flume について (“Flume Reliable Distributed Streaming Log Collection” by Jonathan Hsieh, Henry Robinson, Patrick Hunt ; http ://www.cloudera.com/resource/flume-reliable-distributed-streaming-log-collection-hsieh-robinson-hunt の非公式かつ不完全な日本語訳です。 ) Infoscience 永江 哲朗 2. シナリオ ・シチュエーション : - ログを生成するサービスがデータセンターに数百個ある。 そのサービス群は解析したいログを大量に生成する。 - 大量のデータを処理する Hadoop システムを使っている。 ・問題 : - すべてのログを Hadoop
flume NGを動かしてみた。 - 無能日記
■ flume NGを動かしてみた fluent(ruby)が盛り上がってそうなので、ここはあえてflume(java)を使ってみた flume 本家サイト ■ fluentとの比較 ログを収集するこの手のツールは、scribe, flume, fluentなどいくつかある それらの比較表を拾ってたのが下の図 参考: http://blog.treasure-data.com/post/13047440992/fluentd-the-m... この図を見ると、flumeの行数がすごい事になっている ただここに書かれているのは、古いflumeなのでflume NGではない (現在は0.9.Xまでの古いflumeはflume OGと呼び、あたらしい、1.0.0以降のflume NGをflumeと呼ぶらしい) じゃぁ、flume NGではどうなのか？ ざっくり行数を調べてみる # wget ht
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログ収集フレームワークの新バージョン「FlumeNG」
