Facebook Sentiment Analysis - What is Facebook Saying about Nintendo?Gregory Zapata
Fluentdがよくわからなかった話
Facebook Sentiment Analysis - What is Facebook Saying about Nintendo?Gregory Zapata
Fluentdの仕組み -バッファ機能でログ収集漏れを防ぐ- - Tech-Sketch
OSSのログ収集管理ツールFluentdを用いてログを統合管理している場合の懸念点として、ログの収集漏れが考えられます。 Fluentdでは、バッファ機能を活用することでログを収集漏れすることなく確実に収集することができます。 このバッファ機能のメカニズムを理解すべく動作検証した結果を紹介します。対象とするFluentdのバージョンは0.10.30です。 Fluentdとは Ruby実装のOSSのログ収集管理ツールです。 Fluentdは、Input、Buffer、Outputの3つのコンポーネントで実現されています。 様々な場所からログを収集、JSON形式に変換し(Input)、蓄積(Buffer)、様々な出力先にデータ出力(Output)します。 例として、あるサーバ(server01)のApacheのアクセスログを別のサーバ(server02)内にファイルとして出力する場合
#fluentd fluentd＋fluent-plugin-datacounterでログの可視化が便利すぎてもう死ぬしか無い - oranie's blog
みんな大好きfluentdネタです。というか、fluentd＋fluent-plugin-datacounterが最強過ぎる。 便利すぎて生きているのが辛いどころか死ぬしか無いくらい。 ※そもそもfluentdって何？って人は前のエントリとか読んでみて下さい。 まだ障害発生時の動きとか自分の環境での性能測定とか検証やっていなくてエンジニア的にあれですが。 でも、性能測定とかはhttp://d.hatena.ne.jp/tagomoris/を見ることで充分かなと、えへへ。 今までログの解析は日次で収集していた物をバッチ処理してMySQLにぶち込み、 それをゴニョゴニョして見ていたけど、これがストリーミングで可視化まで一気に出来る。 今の所着手したのはこんな感じ。 Apacheログ関連 とりあえず、ステータスコードとレスポンスタイムをCactiで可視化した。こんな感じ。 ※datacounte
Fluentdで収集したログのHTTPステータスコードを集計し、結果をGrowthForecastでグラフ化する - FAT47の底辺インフラ議事録
最近個人的にいろいろ弄っているFluentdでまた記事をかきます。 これからやること。 (1) Fluentdで収集したApacheログをGrowthForecastでグラフ化 (2) fluent-plugin-datacounterを利用して、ログのHTTPステータスコードのチェックと集計を行い、結果をfluent-plugin-growthforecastでグラフ化 Fluentdの説明と導入記事は前回の記事で。 Apacheログをfluentd+MongoDBで収集しRubyで集計 GrowthForecastの導入も前回の記事から。 様々な値をWebAPI経由でグラフ化できる「GrowthForecast」をインストールしてみた まず (1)Fluentdで収集したApacheログをGrowthForecastでグラフ化 GrowthForecastのWebAPIを叩いてくれるf
統合ログ管理基盤としてのFluentdを試してみました。
先日、朝ご飯を家で食べてきたにも関わらず、通勤途中の駅のカレー屋さんの匂いに誘惑され、 朝カレーしました！周りのメンバーにはこの幸せがまったく響かなかったのが残念です。 アライドアーキテクツの唯一のインフラ基盤エンジニアの平野です。 「からあげ朝カレー」というメニューでした。 さて今回のお題は、インフラ界隈で盛り上がりを見せているFluentdという技術についてです。 私ももれなくこの技術に注目し、先日もFluentd Meetup in Japan #2 に参加させていただいたり、 自社のシステム合宿で、周りのメンバーが粛々とプログラムをしている横でFluentdをいじり倒してました。 ◇背景 昨今ビッグデータ、ビッグデータと注目され、Webサービスにおけるユーザの行動解析、 即時性のあるマーケティングデータの抽出要望がシステムに課せられます。 NoSQLと呼ばれる大量データを分散処理に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentd を利用した大規模ウェブサービスのロギング