Webサーバログ転送・ストリーム処理系私案 - たごもりすメモ
HTTPアクセスログをHiveが読める書式への変換やその他必要なデータ変換などストリーム処理で行いつつ転送して最終的にHDFSに時間ごとに書き込むぜー、というシステムを作ってる途中なんだけど、だいたい部品が揃いつつあるところでいったんまとめて書き出してみて見落としがないかどうか考えてみるテスト。 実在のシステムとは異なる可能性があるので(特に後日これを読む人は)あまり真に受けないほうがよいです。あと解析処理自体はHadoop上でHiveでやるのが大前提で、そこにデータをもっていくまでがここに書く話です。 (12/1 考えた末、構成を変えることにしたのでエントリ後半に追記した。) 前提システム 既にscribeを使用したログ収集・配送・保管系がある。各Webサーバは scribeline を使用してログをストリーム転送する。 scribelineのprimaryサーバとして配送用サーバ、se
Scribe - Scalable Real Time Log Aggregation for CentOS 5 / RHEL 5 - Silas Sewell
Scribe - Scalable Real Time Log Aggregation for CentOS 5 / RHEL 5 “Scribe is a server for aggregating log data streamed in real time from a large number of servers. It is designed to be scalable, extensible without client-side modification, and robust to failure of the network or any specific machine. Scribe was developed at Facebook and released as open source.” I’ve packaged Thrift, fb303 and Sc
Scribeを使ってアクセスログを集約する - スコトプリゴニエフスク通信
Webサーバーが複数台ある時、そいつらからアクセスログを集めてきてアクセス解析を行いたい時、2010年にもなってlogrotateをかけた後にrsyncするのかなぁと思ってしまうわけです。そういう用途にはFacebookで鍛え上げられたScribeが一番いいと分かっていながら、インストールが非常に面倒なので躊躇していました。./configure && make installでインストールするのも面倒ならば、RPMを作るのはさらに面倒。(Thriftはまだ何とかなるが、fb303、Scribeは本当に面倒)しかし、偉大な先人はすでにいるものです。「scribe centos」とかでググってCentOS用のSRPMを作っている人を見つけました。http://www.silassewell.com/blog/2009/05/07/scribe-scalable-real-time-log-a
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
