Fluentd update 2016 - Qiita
毎年やっているので，2016年もFluentd周りで起きたあれこれをまとめておこうと思います．v0.14がリリースされたり，CNCF入りしたりと色々と大きく前進した年でした． Fluentd本体 以下が現在の各リリースの最新バージョンです． old stable: 0.10.62 Current stable: 0.12.31 Development: 0.14.10 0.10は2016年末でEOLなので(アナウンス)，これ以降新しいバージョンはリリースされないことに気をつけてください．0.10.0のリリースが2011年10月なので，約5年開発されていたことになります(実際はここ1年は開発してないので実質は4年ですが)． また，v0.14が開発版という位置づけではあるものの，それなりに機能が実装され，gemから普通にインストールして使うことが出来るようにもなりました．Docker環境とかで
Fluentdの障害時動作 - Tech Notes
Fluentdが障害の時にどのような動作をするのか調べてみたので、そのメモ. td-agent 1.1.17(fluentd v0.10.39)で確認したつもりだが、もしかしたらもう少し新しいので確認したケースもあるかも. BufferedOutputを中心に記載している. BufferdOutputの基本 fluentdの特徴の一つとして、fluentd送信先で障害があり、メッセージが送れなかった場合は大抵(BufferedOutputを使っているプラグインであれば)fluentdでバッファリングし、一定時間後に再送してくれる. このバッファリングのサイズは、BufferedOutputプラグインのbuffer_chunk_limit*buffer_queue_limitで決まる. これらのデフォルト値は以下に解説付きでまとまっている. (良く参照させて頂いています) Fluentdでバ
BufferedOutput pluginの代表的なoptionについて - Qiita
こんにちは、こちらはFluentd Advent Calendar 6日目の記事となります。 このところBufferedOutput系のpluginのoptionについて質問されることが多かったので、せっかくですのでつらつらとここで紹介していこうかなと思います。なお、コードはfluentd v0.10.55です。 optionの挙動を把握するためにまずはfluentdが受け取ったレコードをどう処理していくのかを紹介し、その後fluentdの処理方法を踏まえて各optionを紹介していきます。 レコードの流れ はじめに、レコードを受け取ってからどう処理されてoutputされていくか簡単にレコードの処理を順を追って紹介いたします。 ① レコードを受け取りbufferingする input pluginがレコードを受け取ると、Engineを介してそのレコードのtagにマッチするoutput pl
fluentd自身のログにまつわるノウハウ - still deeper
fluentdのログ 流行に敏いみなさまは既にfluentdのクラスタを組まれているかと思います 1 が、fluentd自体のログはどうしてますでしょうか？ サーバーに直接入って確認している？せっかくログアグリゲーターを組んでいるのだから、fluentd自体のログもfluentdで管理しませんか。 fluentdでは以下の様な match を定義しておくと、自身のログをメッセージとして流すようになっています。 <match fluent.**> ... </match> 流れてくるメッセージはこんな感じ。 fluent.info: {"message":"force flushing buffered events"} fluent.warn: {"message":"emit transaction failed"} fluent.error: {"message":"forward e
Rails のエラー通知を fluentd 経由で Bugsnag に送る | feedforce Engineers' blog
こんにちは。2月に入社して以来、とうとう勉強会の担当が回ってきた腰越です。 最近、現在進行中のプロジェクト(Rails)にて Bugsnag というサービスを導入いたしましたので、導入までの経緯について発表させていただきました。 Bugsnag とは？ なぜ Bugsnag を使うのか Bugsnag をどう使うのか Bugsnag とは？ Bugsnag は、アプリケーションで発生した例外の検知・診断に役立つサービスです。 類似サービスとして、Airbrake や Raygun、Rollbar、オープンソースでは Sentry(SaaS, OSS) や errbit などがよく知られているのではないでしょうか。 Bugsnag 導入に至る経緯 これまで、アプリケーションのエラー処理にて「エラーメールを送る」という対応をよく行ってきましたが、その一方で、過去の経験から「発生したエラーを通知
Fluentd out_forward における最適化パラメータいくつかの話 - たごもりすメモ
Fluentdのデータをネットワーク経由で転送するための組み込みプラグイン out_forward には最適化のための設定がいろいろあるが、内部構造への理解がないとなかなか意味がわからなかったりするものも多い。ので、あんまりいじってる人はいないんじゃないかという気がする。 最近複数の転送先へのロードバランスを out_roundrobin ベースの方法から out_forward の機能を使った方法に切り替えてみたので、ついでにそのあたりについて書いてみる。 (おまけ) out_roundrobin と out_forward(のロードバランス)の違い out_roundrobin は event stream の emit つまりFluentd内部における最小の配送処理単位ごとに配送先プラグイン(のインスタンス)を切り替える。可能な限り細かい単位で配送先をバラけさせたいときはこちらを使う
fluentdでつくる監視系 - Qiita
いつもアプリケーションの開発ばかりで、まじめに監視系を考えたことがなかったので、 fluentdを中心にした監視系を作ってみた。 前提 複数台のアプリケーションサーバ 一台のログ収集サーバ ログにはエラーログとアクセスログの大きく2種類を用意する エラーログは更に複数のレベルでファイル単位にわかれている fatal error warn アプリケーションサーバとログ収集サーバは同一ネットワーク上にある やりたいこと メールで来ても絶対に気がつかない自信がある。 異常の側から教えてくれる仕組みを目指す。 fatalログが出た場合は、電話による通知を行う 全てのエラーログはchatツールに出力する ログのバックアップ ログの分析・可視化 この記事では1, 2, 3についてまとめる。 構築 fluentdのインストール 公式のドキュメントが一番わかり易い。 Installation | Flue
fluent-plugin-ec2-metadata という fluentd プラグインを書いてみた · takus's blog
前々から fluentd のプラグインを書いてみようと思っていたので、ec2 の metadata をレコードに追加するようなプラグインを書いてみました。 takus/fluent-plugin-ec2-metadata プラグインの書き方は @tagomoris 先生の “fluentdのためのプラグインをイチから書く手順(bundler版)” が大変参考になったので、プラグインを書いてみたい人は見るとよさそうです。 あとは、@sonots 先生の fluent-plugin-record-reformer をかなり参考にさせていただいたのと、Ruby 初心者なので“パーフェクトRuby”にもお世話になりました。 なにをするプラグインか？ ### Input foo.bar {"message":"hello ec2!"} ### Output web.foo.bar { "role_t
Fluentdの現実装のPros/Cons - Go ahead!
TODO: 必要なら図を足す 他に書いた方が良いPros/Consのリクエストがあったら追記 内部のイベントストリームの扱い Pros: Inputがスケーラブルに実装しやすく，データストリームを正常時/エラー時で切り替えやすい Cons: エラーハンドリングがブロッキングモデルよりも複雑になりやすい 以下長々と理由書きます． Fluentdはイベントストリームを効率良く，またロバストに扱うことを目的に設計されています．そのため，独自の転送プロトコル(forwardプラグイン)を実装していますし，内部のイベントのハンドリングもそれに沿うようになっています．ただ，それによって相性の悪い操作とかもあります． Fluentdはバッファ機能を提供しており，これによって転送の効率化とエラー時のデータロスを防ぐ設計になっています．が，あまりにも書き込み先が遅いなどの問題があると，バッファの制限を超えて
データ転送ミドルウェア勉強会 - Blog by Sadayuki Furuhashi
Treasure Data, Inc. 古橋貞之です。 来たる1月27日、新しいOSSツール Embulk をリリースします。 EmbulkはFluentdのバッチ処理版のようなツールで、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができるコンパクトなツールです。 入力元、出力先、ファイルフォーマット、圧縮方式などをプラグインで拡張することができ、S3上のCSVファイル、PostgreSQL、Elasticsearch、Salesforce.com、Treasure Dataなど、異種のストレージやサービスの間でデータを転送・同期することが可能になります。 Fluentdとは異なって、1発実行、あるいは1時間や1日毎で実行するバルク処理に特化しており、 トランザクション制御 冪等性 高速性 スキーマを使ったvalidation などの拡張を備えています。 １回で使
fluentdを利用してsshログインを通知する · さよならインターネット
December 12, 2014 sshを利用していると招かれざる客の来訪が多い。 また、サーバに不必要にログインしている関係者がいないか 把握しつづけるのも難しい。 今回はfluentdを利用して簡単にログイン周りの通知をSlackに流してみる。 準備 /var/log/secureはパーミッションが厳しいので y-kenさんのブログを参考にパーミッションを変更する必要があります。 Fluentdでsyslogを取り込むための権限設定（CentOS 5&6両対応） - Y-Ken Studio SlackのAPIがバージョンアップしてリアルタイム性を持つようになった。 A new Slack API: The inevitable rise of the bots Bots 個人的にはリアルタイム性よりも private roomでもhubotが利用できるようになったのいうのがアツい。
Fluentdとログ収集のパターン - Go ahead!
「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず． ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に． クライアントから直接保存する いきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末
Fluentdとはどのようなソフトウェアなのか - たごもりすメモ
Fluentd というソフトウェアがある。日本国内ではそこそこ話題になってきたが、何ができるのか、何に使うと嬉しいのか、何に使えるのか、という点について詳細をよく知らないという人もおそらくまだ多いことでしょう。 なので、簡単にまとめる。 http://fluentd.org/ なお以下の個別項目ごとに書いていくが、その手前にまとめを置いておくので忙しい人はそれだけ読むとよい。インストールや設定については導入部分については日本語の記事はもう多くあるので、触れない。 概要 できること ログの収集 センサデータ等の収集 汎用データ処理プロセッサとして 頻出ユースケース ログの収集 データの集約 簡単なリアルタイム集計 ソフトウェアとしての特徴 コア プラグイン 安定性 性能 開発体制 コミュニティ ぶっちゃけどうなの？ まとめ 現時点で、複数の場所に分散したデータや常に増え続けるデータの安全な転
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd ソースコード完全解説 (v0.10向け)
fluentdでログが欠損する可能性を考える : sonots:blog