NATやファイアウォールの向こうへデータをお届けする fluent-plugin-pull_forward を書いた - たごもりすメモ
Fluentdにおけるネットワークごしデータ転送プラグインといえば forward が組み込みであるし、通信路を暗号化したければ secure-forward がある。 しかしこれらFluentdのネットワーク転送プラグインは基本的に全て送信元から送信先に対してプッシュする形になっており、ネットワーク接続も送信元から送信先に対して行うことになっている。このため送信先のFluentdがNAT下にある場合やファイアウォールで保護された場所にある場合、もしくはダイヤルアップ接続……は、まあ今は無いだろうけど、例えば移動するデバイス上にある場合など、こういったときにはうまくデータの転送を行う構成がとれない。 なぜこういう状況、つまりプッシュ型で転送を行うプラグインばかりなのかというと、FluentdのBuffer pluginの仕組みによる。細かく設計上の話をあれこれしてもアレだし面倒くさいので省
norikra を試す（1） - ようへいの日々精進XP
はじめに Fluentd Casual Talks #3 で norikra の作者である @tagomoris さんのお話を伺ってからずっと試したいと思っていてやっと試せたのでアウトプット。 参考 Norikra 0.1を使ってみた Norikraで遊んでみた fluent-plugin-norikra #fluentdcasual Norikra in action http://esper.codehaus.org/ 5.1. EPL Introduction 5.2. EPL Syntax norikra とは 自分の認識、でも百聞は一見に如かず ちゃんと理解出来ていないけど...以下のような認識でいる。 ログ等のストリームデータを SQL ライクなツールを使って検索出来るツール 例えば、fluentd で処理しているログに対して SQL に似た感じの検索クエリを投げて結果を処理出
fluent-plugin-norikra #fluentdcasual
Talks about fluent-plugin-norikra in Fluentd Casual Talks #3Read less
VOYAGE GROUP エンジニアブログ : アラートをXymonからチーム開発向けのめっちゃグレートなグループチャットidobataにpostする
2013年10月30日14:16 カテゴリtoolインフラ アラートをXymonからチーム開発向けのめっちゃグレートなグループチャットidobataにpostする Zucksの技術環境整備係 @bash0C7 です。Zucksでは、Zucks Ad Networkというスマートフォンに特化したクリック課金型アドネットワークを担当しています。 さて、我々は今のところシステム監視にXymonという統合監視ツールを使っています。基本のXymon Client連携の他、カスタムスクリプトで定期的にAWSのリソースの状態を監視したり、Fluentdからfluent-plugin-xymon経由でXymonにメトリクスを取り込んだりという手を加えながら、より高いサービスレベルの達成に力を注いでいます。 Zucks Ad NetworkではXymonが問題を感知したときの通知として、これまでは伝統的なメ
Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析）
前回の記事では splunk enterpriseを使ってみました。 今回もログ解析プラットホームである、Kibanaを使ってみます。 Kibanaは検索などにElasticsearchを利用します。 またKibanaはデータの収集にLogstashの利用を推奨しています。 それぞれ以下のようなプロダクトです。 Logstash ログデータを収集し、解析して保存します。 この組み合わせで使用する場合、保存先はelasticsearchになります。 Elasticsearch リアルタイムデータの全文検索や統計などをRestfulインターフェースで提供します。 Kibana データの情報を描画し、検索したりドリルダウンで情報をたどれるGUIアプリケーションです。 この３つを組み合わせて使用すると便利なログ解析プラットホームが作れますよというのがKibanaの売りです。 データの収集や解析を行
fluentd の output plugin のテストのかきかた
fluentd のプラグインのテストで、他のoutputも利用するタイプのプラグインはどうテストするのかなあと思ってしらべてみた。@tagomoris さんの out_forest はちゃんとテストが存在したのでそれを読む事に。 https://github.com/tagomoris/fluent-plugin-forest/blob/master/test/plugin/test_out_forest.rb#L416 まず fluentd のプラグインのテストの書き方から理解していないので理解しなければ、と 公式ドキュメント を読むと: Please see Fluentd’s source code for details. うっ、はい… まず前準備に Fluent::Test.setup を呼ばないといけないっぽい。これ、engine.rb に書いてある所為でgrepしないと見つか
fluentdのプラグインを書く練習をする為にsecureログをparseしてZabbixで値が取得できるようにしてみた(作成編) · さよならインターネット
fluentdのプラグインを書く練習をする為にsecureログをparseしてZabbixで値が取得できるようにしてみた(作成編) January 20, 2013 https://github.com/kenjiskywalker/fluent-plugin-securelog-parser ,j;;;;;j,. ---一､ ｀ ―--‐､_ l;;;;;; ｛;;;;;;ゝ T辷iﾌ i f'辷jァ !i;;;;; 全く触ったことがなくてもpluginを書いたらfluentdがわかる ヾ;;;ﾊ ﾉ .::!lﾘ;;rﾞ `Z;i 〈.,_..,. ﾉ;;;;;;;;> そんなふうに考えていた時期が ,;ぇﾊ、 ､_,.ｰ-､_',. ,ｆﾞ: Y;;f. 俺にもありました ~''戈ヽ ｀二´ r'´:::. `! 最初Postfixのmaillogつくってやろうかなんて 思っていたり
fluent-plugin-parser supports LTSV! - たごもりすメモ
乗るしかない、このビッグウェーブに！ Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー Text::LTSV - naoyaのはてなダイアリー LTSV が行指向な Key-Value フォーマットで捗る話 - naoyaのはてなダイアリー ということで fluent-plugin-parser で 'format ltsv' をサポートし v0.2.0 としてリリースいたしました。 fluent-plugin-parser | RubyGems.org | your community gem host tagomoris/fluent-plugin-parser · GitHub あるキーがLTSVな
fluent-plugin-anomalydetect 作りました - PolyPeaceLight
jubatusでも異常値検知がリリースされたばかりですが、簡単でメモリも食わずに異常値検知できるといろいろ捗るかなぁと思い、異常値検知のpluginを作りました。 rubygems github 一日動かしてみましたが、手元の環境では特にリークもなく、fluentd本体、このplugin、node.js expressを立ち上げ、abで適当に負荷をかけ続けましたが、全体で60MBくらいでした。 <match access.**> type anomalydetect tag anomaly.access tick 86400 </match> こんな感じで設定すると、tickで指定した時間(秒)にaccess.**に入ってくるデータ数を数えてそれの異常値をスコアリングします。 また <match access.**> type anomalydetect tag anomaly.acces
超初級！Fluentdのプラグインを書きたくなった時の下地づくり · さよならインターネット
January 5, 2013 fluentdをまともに動かしたことないけど プラグイン書いたらわかるのでは！！？ と思い立って取り敢えず下地だけつくったのでメモ。 参考 fluentdのためのプラグインをイチから書く手順(bundler版) / tagomorisのメモ置き場 Writing plugins / fluentd fluent-plugin-imkayac / fujiwara fluent-plugin-r18 / studio3104 基本はもりす先生の手順にそって行えば問題なし。 参考にオフィシャルのドキュメントと @fujiwaraさんのシンプルなプラグイン @studio3104さんの下地を見ながら書くとなおよし。 また、rake testまで通したものを https://github.com/kenjiskywalker/fluent-plugin-hoge こ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluent-plugin-ses書きました