fluentdでログが欠損する可能性を考える : sonots:blog
世界最速でFluentdを立ち上げる on Heroku - Qiita
Treasure Agentをさらに使いやすく ご存知の方も多いかと思いますが、トレジャーデータ社では、out_tdプラグインを使うことで、Fluentdから簡単にデータを流し込めるようになっています。これはHeroku上でも動くようになっており、heroku-td-agentとして公開されています。 ただこれ、意外と面倒くさいです。具体的には Treasure Dataのアカウントを持っていることが前提。 そしてAPIキーをメモ。 GitHubのHerokuアプリをクローンしてきて bundle install... あああああああああああああああああああ、やってられるかボケえぇぇぇ!!!! これではいかん。せっかくHerokuという、ソフトウェアのデプロイを抹殺してくれたプラットフォームにいるんだ。その恩恵を100％受けてやろうじゃないか。 出ましたTreasure Agent Her
Fluentd update 2014 - Qiita
毎年恒例1年のまとめ記事です．2014年はFluentdの飛躍の年でもあったので，エコシステム周りも含め色々と紹介したいと思います． 2014年は0.10.43から始まり，v0.10の最新版は0.10.57，v0.12が開発版としてpre2までリリースされています．v0.12に関しては13日，v1を含めた来年の開発に関しては25日に書く予定です． Fluentd本体 すべてを列挙するのは難しいので，すべてを見たい方はChangeLogを参照してください．ここでは特に運用やプラグイン周りで有用なものをピックアップします． プラグイン毎のlog_levelオプション (0.10.43) グローバルなレベルとは別に，各プラグイン毎にログレベルを設定出来る機能です．詳細は以前書いたFluentdのロギングを参照してください． sigdump (0.10.43) sigdumpが同梱されるようになり
Google、FluentdをKubernetesとCompute Engineの標準ログコレクタに採用 - Qiita
Google、FluentdをKubernetesとCompute Engineの標準ログコレクタに採用Fluentdgooglecomputeenginekubernetesgooglecloud まずはFluentdコミュニティの皆さん、おめでとうございます！！！ Googleを中心に開発されているオープンソースのDockerジョブスケジューラKubernetes (k8s)、それにGoogle Cloud Platformのログ収集サービスGoogle Cloud LoggingのGoogle Compute Engine用ログコレクタとして、Fluentdが標準採用されました。もうひとつおまけに、fluent-plugin-bigqueryをフィーチャしたソリューションページも、あと1か月くらいでcloud.google.comにて公開される見込みです（これは私がいま仕上げ中）。
Fluentdとログ収集のパターン - Go ahead!
「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず． ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に． クライアントから直接保存する いきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
fluentdのoutputプラグインでブロックするものはBufferedOutputを使うべき - still deeper
tl;dr タイトルのまま 前置き fluentdクラスタのあるノードにだけ、そのノードに送信しているout_forwardがdetachされ続けるという症状が出ました。 調査したところ、外部への通知用に追加したhipchatプラグインを追加したところで症状が発生するようです。 原因 BufferedOutputプラグインでの write メソッドでのスタックトレースはこんな風になります。 /home/choplin/git/fluentd/lib/fluent/buffer.rb:296:in `write_chunk' /home/choplin/git/fluentd/lib/fluent/buffer.rb:276:in `pop' /home/choplin/git/fluentd/lib/fluent/output.rb:309:in `try_flush' /home/cho
MySQLテーブルへの更新/削除イベントを逐次取得するFluentdプラグイン「fluent-plugin-mysql-replicator」をリリースしました - Y-Ken Studio
任意のSQLクエリで取得した結果の差分から、insert/update/deleteイベントを検知するプラグインをリリースしました。イベント検知だけでなく、レコードの内容と共にElasticsearch/Solrへ同期を行う、Outputプラグインも同封しています。 これはあえてバイナリログ(MySQLBinlogAPI)は使わずに、SQLクエリの実行結果の差分を見てinsert/update/deleteイベントを検知します。 そのため、純粋なテーブル同期だけでなく、任意のJOINやVIEWテーブルを元とした差分同期処理が実現できるのが特徴です。 y-ken/fluent-plugin-mysql-replicator https://github.com/y-ken/fluent-plugin-mysql-replicator http://rubygems.org/gems/flue
JMXのメトリクスをfluentd経由で蓄積する | nagaseyasuhito Daily works.
みなさんJMXは使っていますか？Javaアプリケーションのメモリ使用量を始めとした統計情報を取得したりできる、運用には欠かせないモニタリング・管理の仕組みですが、統計情報を蓄積する方法に悩んでいる方も多いのではないでしょうか。 今回はアプリケーションから取得できる様々な統計情報をfluentd経由で蓄積し、分析やトラブルシュートに活用する方法を紹介します。 JMX用のfluentdプラグイン JMXの統計情報をfluentdで収集するfluent-plugin-jolokiaというプラグインを使います。 fluent-plugin-jmxではなくfluent-plugin-jolokia？と思われるかもしれません。 JolokiaはJMXをJSONベースのREST APIとして提供するためのエージェントです。fluentdのプラグインはRubyで書かれていますが、Rubyから直接JMXのプ
Fluentdのタグ書き換えが捗る「tag_parts」プレースホルダを使ってみよう - Y-Ken Studio
Fluentdでログのちょっとした加工をする際に、タグの付け替えが必要です。 新しいタグを指定するか、先頭文字列の付け替えを行う手法が良く使われます。 しかしそれだけではかゆいところに手が届かず、もどかしい思いをされたことでしょう。 そんな時、タグをドットで分解した要素毎に分解して使えるプレースホルダが大活躍します。 この記事を読めば、これがなぜ今まで無かったのか不思議に感じる程です。 そう思えるほど便利な新機能、それでは早速紹介します。 プレースホルダとは プレースホルダとは、一部のfluentdプラグインの設定値の中で使える変数です。 良く使われるプレースホルダとして次のようなものがあります。 ${tag} __TAG__ {$tag_parts[n]} __TAG_PARTS[n]__ ${hostname} __HOSTNAME__ これはFluentdに届いたログを次のように加工
広告ログ解析基盤にFluentdを使っている話 - すずけんメモ
これはFluentd Advent Calendar 14日目の記事です。 私は現在、VOYAGE GROUPの子会社であるadingoで、DMP cosmiの開発をしています。今日はcosmiでのfluentd利用の話をしようと思います。 DMPについて 過去に勉強会でアドテクまわり及びDMPについて話したのでそれを貼っておきます。ざっというと、いい感じにいろんなログを受けいられるようにして、それらをモニタリングしながら整理して使えるようにする、という役割をもったプロダクトです。 Head First Ad Technology and DMP http://www.slideshare.net/suzuken/head-first-ad-technology-and-dmp どこで使っているか ほぼ全てです。構成としては ログ収集サーバ | | out-forward (roundro
Treasure Agent Monitoring Service (ベータ)
Apache Hadoop の現在と将来（Hadoop / Spark Conference Japan 2016 キーノート講演資料）Hadoop / Spark Conference Japan
Shadow Server on Fluentd at Fluentd Casual Talks #3
PyCon JP 2012 hands-on セッション/ FlaskによるWebアプリケーションの実装とプログラミングツールAtsuo Ishimoto
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
Puppet Camp Düsseldorf 2014: Continuously Deliver Your Puppet Code with Jenki...Puppet
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd ソースコード完全解説 (v0.10向け)
Fluentd ソースコード完全解説 at RubyKaigi2014 : sonots:blog
fluent-plugin-datacounter を norikra に置き換えるべき理由と設定方法 - sonots:blog
株式会社コロプラ【位置ゲーで毎日の移動を楽しく】
OutputとBufferedOutputの間の何か
komamitsu's channel
