GitHub - abbaspour/log4j-scribe: Scribe Appender for Log4jYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Webサーバログ転送・ストリーム処理系私案 - たごもりすメモ
HTTPアクセスログをHiveが読める書式への変換やその他必要なデータ変換などストリーム処理で行いつつ転送して最終的にHDFSに時間ごとに書き込むぜー、というシステムを作ってる途中なんだけど、だいたい部品が揃いつつあるところでいったんまとめて書き出してみて見落としがないかどうか考えてみるテスト。 実在のシステムとは異なる可能性があるので(特に後日これを読む人は)あまり真に受けないほうがよいです。あと解析処理自体はHadoop上でHiveでやるのが大前提で、そこにデータをもっていくまでがここに書く話です。 (12/1 考えた末、構成を変えることにしたのでエントリ後半に追記した。) 前提システム 既にscribeを使用したログ収集・配送・保管系がある。各Webサーバは scribeline を使用してログをストリーム転送する。 scribelineのprimaryサーバとして配送用サーバ、se
scribedを簡単に起動/停止できてログ出力を便利にできるinit script書いた - たごもりすメモ
推計全国20人くらいはいると思われるscribed管理者にはわかってもらえると思うけどscribedの起動/停止の制御はいろいろと面倒くさいしログもdaemontoolsとかにお願いしない限りはなんかうざい。そして更にそのうちの10人くらいにはわかってもらえると思うがscribedからHDFSに書き込みをしようと思うと起動ユーザもroot以外にしないといけないんだけど停止コマンドはrootで実行しないといけなくてうあああああああああああああああああああああああああ。 とかいうストレスが限界に達したのでinit scriptを書いた。 tagomoris/scribed_launcher · GitHub これまで 起動 $ su - hadoop $ /usr/bin/nohup scribed /etc/scribed.conf | /usr/local/apache2/bin/rota
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OCTO Talks !
