Fluentdの現実装のPros/Cons - Go ahead!
TODO: 必要なら図を足す 他に書いた方が良いPros/Consのリクエストがあったら追記 内部のイベントストリームの扱い Pros: Inputがスケーラブルに実装しやすく，データストリームを正常時/エラー時で切り替えやすい Cons: エラーハンドリングがブロッキングモデルよりも複雑になりやすい 以下長々と理由書きます． Fluentdはイベントストリームを効率良く，またロバストに扱うことを目的に設計されています．そのため，独自の転送プロトコル(forwardプラグイン)を実装していますし，内部のイベントのハンドリングもそれに沿うようになっています．ただ，それによって相性の悪い操作とかもあります． Fluentdはバッファ機能を提供しており，これによって転送の効率化とエラー時のデータロスを防ぐ設計になっています．が，あまりにも書き込み先が遅いなどの問題があると，バッファの制限を超えて
Fluentdで、RailsのログをS3に保存する方法 - Qiita
What is fluentd? ログ収集をプログラマブルに実施し、状況に応じた柔軟な対応が実現できるソフトウェア ログの管理を「インプット」「バッファ」「アウトプット」という3つの層に分けて管理 fluentdは内部で各ログデータに対して「タグ」を付与し、管理 fluentdではログの内容（レコード）がJSON形式になっている そのため、アプリケーション側でのパースが容易であるというメリットがある Why Fluentd? : ログ管理への要求 ログの多様化・肥大化への対応 ログ情報を基にした分析の必要性 fluentdの設定方法 インストール方法 様々なインストール方法がある RPMパッケージからFluentdをインストールする (Redhat Linux) DEBパッケージからFluentdをインストールする (Debian / Ubuntu Linux) DMGパッケージからFlu
Fluentdで各種ログをS3とElasticsearchにまとめる - BitArts Blog
各々のサーバの様々な場所に分散しているWebサーバやその他各種ログファイルをFluentdでまとめてAmazon S3にガシガシ保存。かつ、分析用にコピーを自前のElasticsearchにも保存します。保存したログはKibanaで手軽にビジュアライズ。 Fluentdはとてもシンプルな仕組みで理解しやすい。「ログを集積したい！」と感じたらサクッと導入できる超便利ツールです。 今回は集積用サーバを経由してElasticsearchとS3に保存する構成にします。 Elasticsearchのインストール Fluentdで集積したログは保存するだけならS3で良いのですが、手軽にビジュアライズしたいので、今回はKibanaを使えるようにElasticsearchにも保存するようにします。今回はCentOSに導入するので、公式のyumリポジトリからインストールします。 $ sudo rpm --i
railsのfluent-logger gemを使ってユーザーのアクセスをfluentdサーバに収集する – joppot
概要 みなさんこんにちはcandleです。前回からfluentd関連の記事を続けていますが、今回辺りから実用的な使い方を書いていきたいと思います。 fluentdと言えば、ビックデータで扱うようなデータを集め出力するサーバですが、これとrailsのfluent-logger gemを組み合わせてアクセスログをとってみたいと思います。 アクセスログは、別段fluentdを使わなくてもrailsログにもapacheログにも存在するのですが、いづれのログもアクセス以外のログがごちゃまぜに保存されているので、解析するためには使いづらいログです。 fluentd-loggerをうまく使えばアクセスだけを抽出してログとして残せるので後で解析が楽になります。 ちなみに、アクセスログに特化したfluentdに投げるactなんとかgemもあるのですが、そちらはカスタマイズ性が悪いので使いません。もしも手っ取
amacou's blog — ローカルで動かしているRailsアプリでfluentd+elasticsearch+kibana3と連...
ローカルで動かしているRailsアプリでfluentd+elasticsearch+kibana3と連携させてみる fluentdとかelasticsearchとか触ってみたくなったので、全てをローカルのMacの中に入れて触ってみた。 以下作業ログです。 fluentdのインストールfluentdをgemから入れて起動する とりあえずconfファイルはいじらないで動かす $gem install fluentd $fluentd --setup ./fluent #./fluent/fluent.confを作成 $fluentd -c ./fluent/fluent.conf #fluentdを起動 railsの修正fluentdにログを流す方法はいろいろあるみたいだけど、ログをLTSV(Labeled Tab Separated Value)形式に変えてからそれをfluentdのsour
Rails3+devise,nginx,fluent,S3構成でのアクセスログ収集と蓄積 | takemikami's note
ユーザ認証が存在するWebアプリのアクセスログを有効に分析するためには、 ・Webサーバからアクセスログを集める ・Webアプリのユーザとアクセスログを紐付ける の２つを行う必要があります。 この記事では、 ・Webサーバ： nginx ・開発フレームワーク： Ruby on Rails （認証プラグインとしてdevise） ・ログ集約： fluentd ・ログの格納先： Amazon S3 という構成のWebアプリケーションで、 「アクセスログの収集と蓄積」を行う流れについて説明します。 サーバOSは、CentOSを利用します。 アクセスログの収集から蓄積までは以下の図の流れになります。 アクセスログの出力： ①ユーザの訪問 ②アプリから会員ID情報を送信 →RailsアプリからHTTPヘッダに会員IDを付加して返却 付加したヘッダはnginxでログ出力後に削除（ユーザに付加した情報は見
Fluentd + Elasticsearch +Kibanaを導入したので手順をメモ - まっしろけっけ
導入経緯 「serverのログ見るときに複数のserverにsshで入って見るのとかつらめ」 という理由からリアルタイムで集められたら幸せになれるのではと考え、 fluentdを使ってみようとい結論に至った訳です。 なぜfluentdにしたのか 他にもflume(良く知らない)とかあるのになぜfluentdにしたかと言うと下記の理由から Rubyで実装されているのでカスタマイズとかプラグイン作る場合も作りやすいかな gemとして提供されているのでRubyプロジェクトでは導入しやすいかな プラグインがいっぱいある RubyKaigiでそのっつさんの下記のお話を聞いていたりで使ってみたかったとかそんな感じ Fluentd Hacking Guide at RubyKaigi 2014 リアルタイムログ解析もしてみる Fluentdを使うならElasticserchとKibanaも導入してリアル
リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。 - Qiita
このエントリーはドワンゴアドベントカレンダー17日目のエントリーです。 ストリーム処理エンジンのNorikraについて、最近聞くことが増えてきました。 使ってみたい方は結構いるのではないでしょうか。 とは言え、「ストリーム処理を試してみたい、環境構築してやってみよう」と思っても、JRuby入れてNorikra入れて、fluentd入れてNorikraとのin/outの連携して、集計結果を格納する為にElasticsearch構築して、Kibanaから見れるようにして、認証機構や改廃の機構も入れて...あ、ストリームソースも用意しなきゃ...となって、そこそこ手間が掛かります。 一揃いの環境構築するのは面倒、という方向け(自分向け)に、手軽にコマンド一発で立ち上げられる環境を作りました。 Norikraそのものについては、こちらの記事が素晴らしかったです。 http://hase.hateb
Atrae Tech Blog — Fluentd UIをMacで使ってみる
We are the tech members of Atrae Inc. This tech blog contains awesome information around tech of our concern. こんにちは、エンジニアの青野です。 リリースされてからそれなりに経ってしまっていますが、fluentdをWebブラウザから利用できるFluentd UIを、Macで少し触ってみました。 コマンドライン上で設定した経験もあるのですが、GUIで楽に設定できるならそっちでも良いよね、ということで試してみました。 fluent/fluentd-ui インストールGitHubのREADME通りに進めます。 gemが提供されているので、インストール。 $ gem install fluentd-ui いろいろインストールされます。fluentdのバージョンは以下。 fluentd (0
Fluentd UIが出たので触ってみた - すずけんメモ
fluent/fluentd-ui https://github.com/fluent/fluentd-ui Fluentd用のWeb UIが出たようです。試しに触ってみます。 インストール READMEのとおりですが、 $ gem install fluentd-ui $ fluentd-ui start Open http://localhost:9292/ by your browser default account is username="admin" and password="changeme" もしくは、 $ git clone https://github.com/treasure-data/fluentd-ui $ cd fluentd-ui $ bundle install $ bundle exec rails s です。 僕はbundlerでいれることにしました
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今更ですけど、fluentdについてマトメてみる(その2) - Qiita
librabuch.jp
http://blog.suz-lab.com/2013/03/fluentdjson.html