メールアドレスをマスクしてpostfixのログをfluentdに流す - so what
前回の記事のfluent-plugin-filter-parse-postfixはデフォルトでメールアドレスをマスクするようにしている。 <source> @type tail path /var/log/maillog pos_file /var/log/td-agent/postfix-maillog.pos tag postfix.maillog format none </source> <filter postfix.maillog> @type grep regexp1 message status= </filter> <filter postfix.maillog> @type parse_postfix mask true # デフォルト値 #include_hash ture </filter> { "time":"Feb 27 09:02:38", "hostname
td-agent版Fluentdデーモンの特徴と監視 | 外道父の匠
td-agent版Fluentdを大量に導入してみて、かなり快適に動いています。 ただ、若干不安定な部分があり、対応が必要だったので記しておきます。 導入したOS 今のところtd-agentを入れたOSは CentOS 5 Debian Lenny Debian Squeeze td-agentデーモン（プロセス）の特徴 プロセス数 netstatやlsofで見たらわかりますが、tcp, udp用2つで1セットとなっています。 重複起動する /etc/init.d/td-agent start を実行したら実行した分だけ起動していきます。これはCentOSでもDebianでも確認しました。これをやると、/var/run/td-agent/td-agent.pid には新しいTCPプロセスのPIDが記録されていますが、古い方のプロセスも通常通り動作しているため、 ログが重複送信される sto
【Fluentd】in_execプラグインを使ってみる - Qiita
in_execプラグインとはなにか 外部のスクリプトを定期的・恒久的に実行し、スクリプトの標準出力を読み取る機能を提供するプラグイン。サードパーティ製ではなく、Fluentdに標準で組み込まれている。 詳細は公式マニュアル参照。
fluent-agent-hydraで省エネログ転送 - Mercari Engineering Blog
Site Reliability Engineering Teamの@cubicdaiyaです。 今回はGo製のログ転送エージェントであるfluent-agent-hydraとメルカリでの利用事例について紹介します。 メルカリとFluentd メルカリではAPIサーバのアクセスログやアプリケーション固有のログをはじめとする各サーバに散らばっているログデータを転送・集約するのにFluentdを活用しています。 具体的にはローカルに書き込まれるログファイルのin_tailやそれらを転送するための(out|in)_forward、ElasticsearchやBigQueryにログを放り込むためのプラグインを利用しているほか、いくつか特殊な用途のプラグインを独自に開発して運用してたりもします。 ログの流量とFluentdのパフォーマンス 多機能で柔軟なプラグイン機構を持つ便利なFluentdですが
fluent-plugin-secure-forwardと戯れた話 | GREE Engineering
こちらのエントリーは「GREE Advent Calendar 2015 14日目」の記事です。 こんにちは、データエンジニアリングチームの山田です。6日目の記事の長谷川、田畠とともにグリーの分析基盤を良くする仕事をしています。主にデータ収集周りを担当しており、fluentdとはいつの間にか2年を超える付き合いとなりました。 さて今回は、fluent-plugin-secure-forwardについてつらつらと紹介していきたいと思います。 fluent-plugin-secure-forward(以下secure-forward)は、SSL/TLSを利用しセキュアにデータ転送を行うためのfluentd pluginです。fluentdにデフォルトで含まれているノード間を転送するためのforward plugin(以下forward)は転送時に暗号化などを行っていないため、インターネットを通
10年を超えたサービスの改善を加速する土台作り - Pepabo Tech Portal
ご契約数100万ドメインを超えるムームードメイン開発チームの@pyama86です。これはPepabo Advent Calendar 2015の8日目のエントリです。 今日は2004年1月15日より提供を開始し、もうすぐ12年目を迎えるムームードメインのサービスの改善を加速する仕組みについて紹介します。 はじめに ムームードメインは主な開発言語はPHPを利用しています。先に記載した通り、12年目をもうすぐ迎えるサービスで、故に12年分のプログラムコードが詰まっていることもあり、現代の設計手法では採用し得ないような実装も所々に残っています。その一例として下記のような実装があります。 example.php require_once 'global_function.php'; $client = new exampleApi(); $result = $client->execApi();
nginx-lua から fluentd へログを送信する - Qiita
nginx Advent Calendar 2015 7日目 兼 fluentd Advent Calendar 2015 6日目のエントリです。 nginx-lua (https://github.com/openresty/lua-nginx-module) から fluentd にログを送信する方法を紹介します。 Lua から fluentd へログを送信するライブラリとして fluent-logger-lua というものがありますが、これは LuaSocket ライブラリを使用しているため nginx-lua では使いづらいので、ngx.socket.tcp を使用して自前で送信してみましょう。 fluentd の forward protocol は3パターンの入力フォーマットがあるのですが、一番単純なフォーマットは [tag, time, event] の形式で、この形に Me
Treasure Dataで働くRuby - Qiita
中村です。最近はセキュリティ方面のお世話だけでコードの貢献はしていませんが、CRuby、JRubyコミッタもやっています。 Treasure Dataを支えている各種システム、バックエンドのコアはJava中心、追加でScala/C/Pythonですが、多くの場所でRubyも使われています。12/25にRuby/2.2がリリースされたのに合わせて、Rubyの使われ方をご紹介しましょう。（本記事は12/26に執筆しています） Client side まずはTreasure Dataのシステム側でなく、クライアント側で動くRubyです。 Treasure Agent (Fluentd) package (td-agent) Treasure Agentは、OSSであるRuby製ログ収集インフラFluentd: http://www.fluentd.org/の各種OS用パッケージ版です。Treas
fluentd+elasticsearch+kibanaの環境を構築してみた - ssossanの日記
背景 webサービスを運用してるんですが、ログをもっと有効活用しようぜ！って話になり、とりあえず手元でfluentd+elasticsearch+kibanaを使って環境を作ってみました。 アプリが入ったサーバには極力負荷をかけたくないので、パース作業は別のサーバで行いました。そのへんでいい感じにまとまってる情報が見つからなかったので、備忘録を兼ねてメモ。 サーバ構成 アプリケーションサーバ(今回はmac) -> fluentdを入れてログの送信だけやらせる。 VM(ubuntu14.04) -> fluentd, elasticsearch, kibanaを入れてログのパース〜蓄積〜表示まで。実運用では変わるだろうけどまあ練習ということで。 ハマった点・困った点 1. アプリケーションサーバからログをそのまま送信するのってどうやるんや 2. 正規表現苦手なんだけど 3. parserプラ
Shadow Proxyのご紹介 at Quipper - Qiita
この記事はQuipperのテックブログに書いた以下の記事の日本語版での要約です。 http://quipper.github.io/2015/11/11/introducing-shadow-proxy.html Shadow Proxyとは？ 本番のHTTPリクエストから同等のリクエストをステージング環境に適用するための仕組みです。主な目的は、2年以上の運用で肥大化したMongoDBに対するindexの追加/削除/つけ忘れなどを事前に検証・検知するためです。 構成 Fluentdが大活躍しています。 Reverse Proxy Log AggregatorにNginxのアクセスログを転送する Log Aggregator S3(バックアップ),BigQuery(調査用),Shadow Proxyにアクセスログを転送する アクセスログをもとにステージングのアプリにHTTPリクエストを送信す
Ansibleを使って本番環境にFluentdによるログ収集環境を構築した話
Tokyo Otaku Mode Inc. の社内勉強会で発表した内容です
Webサーバの仮想ホスト単位のリソース使用量をFluentd+Norikra+GrowthForecastでグラフ化 - 人間とウェブの未来
ご存知の通り、ApacheのVirtualHost（以下vhost）、所謂、Webサーバの仮想ホストは単一のApacheで複数のホストを処理しています。そのため、複数のvhostを含めたCPU使用量といったリソース使用量をグラフ化することは簡単なのですが、vhost単位となると各vhostへのリクエスト単位でのリソースを計測しておかないとグラフ化することはできません。そういう意味でvhost単位でリソース使用量をグラフ化しようとすると一気に敷居が上がってしまいます。 また、uid毎に実行プロセスを分離しておけば、pacctといったプロセスアカウンティング機能でuidのカウントはできますが、リアルタイムの計測（秒とか分のオーダー）にはコストが高かったり、vhostで提供しているコンテンツによっては、Apache権限で配信されているものもある（静的コンテンツ）ため、正確に計測することは難しくな
Dogstatsd で Datadog にカスタムメトリクスを送る方法 〜Fluentd との連携を添えて〜 · takus's blog
Datadog というシステム監視 SaaS のネタです。 先週の木曜に「Datadog でカスタムメトリクス送るの面倒じゃない？どうやってるの？」とある人に質問されたので、 自分が知ってる Dogstatsd を使う方法をシェアします。 これはあるサービスの Nginx のアクセスログとエラーログを、 Fluentd 経由で Datadog にカスタムメトリクスとして送って可視化した例になっていて、 それぞれ、 左上: ステータスコード別の集計グラフ 右上: 今日・昨日・一週間前のレスポンスタイムグラフ 左下: Fluentd の タグ毎の流量 右下: Fluentd の ホスト毎の流量 といったグラフになっています。このポストではこんなグラフを作る方法を説明します。 Dogstatsd とは？ 唐突に Dogstatsd というものが出てきますが、カスタムメトリクスを送る場合はコイツを
NorikraのAPIを叩くmrbgemを書いて、mod_mrubyで使う - ujunのブログ
FluentdからNorikraにサーバの各種ログを流し込んで解析する、というのは、 割とよくあるNorikraのユースケースかと思います。 Norikra+FluentdでDoS攻撃をブロックする仕組みを作ってみた ｜ Developers.IO Fluentd + Elasticsearch + Kibana + Norikra+ Zabbixを使ってOpenStackのログ解析してみた | テクノロジーコラム | コラム・ブログ | NTTソフトウェア株式会社 ログ解析にNorikraを使ってみた - hase log FluentdとNorikraで異常アクセス検知を行う | ピコもん開発ブログ これらは、テキストとして出力されているログファイルをFluentdで取り込んで送信となりますが、 ApacheやNginxのアクセスログをNorikraに溜め込むのなら、 以下のmrbge
第2回 ストリーミング処理とバッチ処理によるデータ収集 ~ Fluentd編 ~ | gihyo.jp
上記のパラメータを元に生成されたログは下記のようになります。 変更後のアクセスログ time:2015-07-26 08:58:20 +0000 domain:52.69.91.201 host:153.232.253.97 server:172.31.6.70 ident:- user:- method:GET path:/index.html protocol:HTTP/1.1 status:200 size:3256 referer:- agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_4) AppleWebKit/600.7.12 (KHTML, like Gecko) Version/8.0.7 Safari/600.7.12 response_time:795 cookie:- set_cookie:Apache=2a4375
Docker 1.8 に Fluentd logging driver が入りました - たごもりすメモ
以前に書いた話の続きなんだけど、Docker 1.8が出た。 blog.docker.com で、それに Fluentd logging driver が入っている。これで Docker container で起動したプロセスのSTDOUTやSTDERRを直接Fluentdに向けて投げることが可能になった。Dockerにpull-reqを送ったのは初めてだったんだけど、無事マージされてリリースまでこぎつけたので、本当に出たときはほっとした。途中だいぶ大変だったので……。 Collecting All Docker Logs with Fluentd | Treasure Data Blog 5 Use Cases Enabled by Docker 1.8’s Fluentd Logging Driver | Treasure Data Blog Treasure Data blogで既に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログイン - はてな
Introduce log collector in Go into production
[デブサミ秋2015] 新卒入社エンジニアが�２年間fluentdを運用して学んだ事いろいろ![[デブサミ秋2015] 新卒入社エンジニアが�２年間fluentdを運用して学んだ事いろいろ](https://cdn-ak-scissors.b.st-hatena.com/image/square/bc6e5417a6670514e50b61abea86ce1b73297a12/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdevsumiautumn-151015035724-lva1-app6892-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
RailsのログをFluentdでtailしてslackへ通知 - Qiita
