ApacheログをLTSV形式にする際の２つの落とし穴と対処法＋Apache＆FluentdのLTSV設定サンプル - Y-Ken Studio
ApacheのアクセスログをLTSV形式にしたいと思った方に是非お伝えしたい、 私がハマった落とし穴とその対処方法、その後にApacheとFluentdの設定サンプルを紹介します。 以下に1つでも該当するものがあれば、LTSVの導入メリットは高いでしょう。 テクニカルな正規表現のメンテナンスに疲れた awk等のテキスト整形ツールで加工や集計を容易に行いたい ログ収集ツールFluentdを使ってリアルタイム集計などを行いたい 落とし穴 その１「request_first_line」 一般的なApacheの設定ファイルhttpd.confでは、デフォルトで以下の設定が行われています。 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined このLogFormatStringをそのままLT
fluent-plugin-rewriteというプラグインを作成した #fluentd - Kentaro Kuribayashi's blog
fluent-plugin-rewriteというfluentdのプラグインを作成した。以下、このプラグインの解決する問題について述べる。 https://github.com/kentaro/fluent-plugin-rewrite https://rubygems.org/gems/fluent-plugin-rewrite 問題 あるサービスのレスポンスタイム改善をしていて、まずは状況の可視化のために、fluentdを用いることにした。その際、たとえば トップページ ユーザページ 書籍検索ページ 書籍詳細ページ ... その他 といったグループにわけて、レスポンスタイムの各種統計を取りたい。また、ログを全部集計すればいいというものではなく、除外すべきmessageも複数種類あるので、柔軟にフィルタルールを設定したい。 既存のプラグインだとout_exec_filterを使うことによっ
アプリを支えるFluentd+mongo dbを使った大規模ログ解析
アプリを支えるFluentd+mongo dbを使った大規模ログ解析 Presentation Transcript アプリを支えるFluentd +MongoDBを使った大規模 ログ解析 2013/03/2513年3月25日月曜日 自己紹介 • 田中 勇輔(@csouls) • ハッカーLv.3（ホイミが使えるようになっ た） • 8ヶ月くらい前にユーザ系SIer→Web業界へ 転職13年3月25日月曜日 変化を善とする文化 • 転職して一番変わったことは、周りの人の技 術変化に対する価値観の基準が悪→善になっ たこと • 停滞はゆるやかな死。しかし、変化する方向 を間違え続けるとすぐに死ぬ13年3月25日月曜日 分析 • 変化の方向を決める道標 • 分析基盤も変化(発展)し続ける13年3月25日月曜日 ログ分析基盤 • fluentでログを集めてMongoDBで集計して Ruby o
Fluentd casual
2. 自己紹介 id:oranie @oranie • サイバーエージェント グループ子会社で、グループ内でも余り知ら れていないシステムでなんか色々やる簡単なお仕事しています。 • 緑色のみんながよく知っているサービスの裏側とかは全く知らない です！聞かないで下さい！ • カジュアル枠として参戦でございます。優しくしてね！
Fluentd meetup Fukuokaに参加してきた | 大発見 | 大発見
前から気になっていたfluentdのイベントに参加してきました。 fluentdとGrowthforecastを使うとかなり楽にシステムの監視が可能だと感じました。 サクッとログが構造化できて、解析も楽で、障害や不具合発生時の対処もほぼ自動で行なってくれるのはとっても便利だと思う。 大体、ログはローカルに出力して、scpとかを利用して定期的にバッチ処理で転送して管理する事が多く、何かと作業が煩雑だったりしてたので、fluentd入れれば幸せになれそう。 箇条書きですが、各トークの内容とスライドを書いておきます。 【今さら聞けないfluentdの基本】 @repeatedly “The basics of fluentd” ■個人的感想 fluentdをさわり始めたのは1週間前くらいなので基本的な所が分かって参加したかいがあった。 リトライやエラーハンドリングがしっかりしていたり、プラグ
Fluentd | Open Source Data Collector
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
FluentdとGrowthForecastを使った可視化 〜 Haikanko OSS化への道(4) : sonots:blog