NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog
Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問題を解消するにあたり Fluentd に PR を送ったのでそれの紹介もします。 https://github.com/fluent/fluentd/pull/2352 データ収集基盤の構成 Repro のデータ収集基盤はFlunetd High Availability Configをもとに構成され、大まかに次のようになっています。 SDK からアップロードされたデータは、転送用 Fluentd(log forwarders)を経由し
CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む - hibomaの日記
2018/7/18 追記 3.10.0-862.9.1.el7 で fix されました hiboma.hatenadiary.jp 2018/7/4 追記 最新の情報はこちらにまとめています hiboma.hatenadiary.jp 2018/6/16 追記 CentOS Plus の kernel-plus では修正が入っています. 詳しくはこちらをご覧ください hiboma.hatenadiary.jp エントリの概要 CentOS7.5 の fsnotify() がレースコンディションを起こすバグを、 nginx + td-agent (fluentd) + in_tail プラグインで踏んだ際の調査内容を記していきます. イントロダクション このエントリを書いた時点では、CentOS 7.5.1804 以降でリリースされているカーネルは 3つありますが、カーネルの fsnotif
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
Fluentdで始めるPrometheus / Prometheus Tokyo Meetup #1
Try Prometheus with Fluentd
Fluentd＋Elasticsearch＋Kibanaで作るログ基盤の概要と構築方法
システム障害の原因調査や、稼働状況の確認のためにログの中身を確認することがよくあります。しかし、ログが大量に出力されていたり、複数の場所に分散して出力されていたりすると、それを確認するために多くの手間と時間がかかってしまいます。 これらの課題解決の方法として、ここ最近主流となっているのが、複数のOSS（オープンソースソフトウェア）ツールを組み合わせてログの収集や検索、可視化ができる基盤（ログ基盤）を構築することです。 その中で特に代表的なものが、「Fluentd」（ログの集約）、「Elasticsearch」（ログの検索）、「Kibana」（ログの可視化）であり、本連載では、これらのログ基盤を実現するツールについて、構築方法や利用方法、実際の案件で使ったときの事例、さらにはログ基盤に関連する最新の情報を紹介していきます。 連載第1回の本稿では、Fluentd、Elasticsearch、K
Fluentd update 2016 - Qiita
毎年やっているので，2016年もFluentd周りで起きたあれこれをまとめておこうと思います．v0.14がリリースされたり，CNCF入りしたりと色々と大きく前進した年でした． Fluentd本体 以下が現在の各リリースの最新バージョンです． old stable: 0.10.62 Current stable: 0.12.31 Development: 0.14.10 0.10は2016年末でEOLなので(アナウンス)，これ以降新しいバージョンはリリースされないことに気をつけてください．0.10.0のリリースが2011年10月なので，約5年開発されていたことになります(実際はここ1年は開発してないので実質は4年ですが)． また，v0.14が開発版という位置づけではあるものの，それなりに機能が実装され，gemから普通にインストールして使うことが出来るようにもなりました．Docker環境とかで
FluentdからAmazon Elasticsearch Serviceへログ転送する時の注意点 - 本日も乙
昨年10月にAmazon Elasticsearch Service(Amazon ES)がリリースされました。 今まではEC2インスタンスにElasticsearch をインストールして運用していましたが、AWS側でマネージドしてくれるということでとても便利そうだなと思い使ってみました。 動作環境は以下の通りです。 Fluentd 0.10.58 fluent-plugin-elasticsearch 0.9.0 Amazon Elasticsearch Service r3.xlarge 構成としては、各WebサーバからApacheのアクセスログをFleuntdサーバに集約してAmazon ESへ転送するようにしていました。 しかし、FluentdからAmazon ESへ転送する際に途中でエラーが出てしまい、転送できなくなることがありました。 2015-12-14 07:00:55 +
Fluentd, Kafka, InfluxDB, Grafanaでメトリクス監視環境を作る - Qiita
ラフな図にするとこのような感じである。 クラスタリング機能が無くなったOSS版InfluxDBで簡単な冗長性を持たせる OSS版InfluxDBについては元々クラスタリング機能が存在したが、v0.12以降はOSS版InfluxDBでのクラスタリングは廃止され、以後Influx Enterprise及び、Influx Cloudを通じての提供する方針になっている。 日本語の詳細記事はこちらを是非参照してみてほしい。 https://yakst.com/en/posts/3870 今回は、OSS版InfluxDBを使う前提なので、カジュアルにDBへのダブルポストを行い、かつ耐障害性もそこそこある構成にするためにKafkaを使っている。Kafkaを使うことで、メトリクスデータは、InfluxDBに投入される前の段階において、Retention期間中Kafkaクラスター内で冗長化された状態で保持さ
mackerel-plugin-fluentd を使うなら "[at]id" を指定するべし - kakakakakku blog
タイトルに @id を書いておくと Twitter でメンションが飛んでしまうため [at]id に修正しました 🙇🏻 前置き mackerel-plugin-fluentd を使うと，Fluentd のメトリクス（バッファサイズ／リトライカウントなど）を Mackerel のカスタムメトリックにポストすることができる．ログの流量が多い場合など，バッファサイズを監視できていると運用しやすいし，是非使っておきたいところ． ちなみに Fluentd のメトリクスを取得するなら事前に monitor_agent を conf に含めておく必要がある．詳しくは Monitoring Fluentd | Fluentd に書いてある． <source> @type monitor_agent bind 0.0.0.0 port 24220 </source> plugin_id のデフォルト値は
![mackerel-plugin-fluentd を使うなら "[at]id" を指定するべし - kakakakakku blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/21ade0e681250428de62d3c7a239b4453cce4ef1/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkakku22%2F20160926%2F20160926073434.png)
Routing Data from Docker to Prometheus Server via Fluentd. - Treasure Data Blog
Routing Data from Docker to Prometheus Server via Fluentd Last modified: August 17, 2019 See the video of the full integration here: https://www.youtube.com/watch?v=uyu-GeAM-xk&feature=youtu.be Possibly the best way to build an economy of scale around your framework, whatever it is, is to build up your library of integrations – or integrators – and see what and who your new partners can bring int
Lobiのログ集約・解析のはなし - KAYAC engineers' blog
Lobiチームの長田です。 あらゆるWebサービスがそうであるように、Lobiでも日々大量のログが出力されています。 今回はこのログをどのように集約・解析しているかを紹介します。 TL;DR アクセスログ・アプリログなど、毎秒10000行以上のログが生成されている Fluentdを使用しログを集約 consul serviceを利用した集約サーバーの冗長化 ログ中のイベント検知・集約にはNorikraを使用 アクセスログの各種解析にはAmazon Redshiftを利用 ログの集約 ログ収集エージェント Lobiではログの集約にFluentdを利用しています。 Fluentd | Open Source Data Collector | Unified Logging Layer ログファイルの集約にはfluent-agent-hydraを、Perlアプリケーション内からのログ送信にはFl
Fluentd and Kafka
This document discusses using Fluentd to collect streaming data from Apache Kafka. It presents two approaches: 1) the fluent-plugin-kafka plugin which allows Fluentd to act as a producer and consumer of Kafka topics, and 2) the kafka-fluentd-consumer project which runs a standalone Kafka consumer that sends events to Fluentd. Configuration examples are provided for both approaches. The document co
fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど） - Qiita
fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど）CentOSFluentdElasticsearchtd-agent fluentdを使う時にまず知っておいたほうがよさそうなこと はじめに 朝からElasticsearchへのデータの投げ込み方を考えていました。 データベースやメッセージキューなどにデータを投げ込んでおいて、ニアリアルなバッチでElasticsearchに投げ込むよりも、fluentdを使う方が圧倒的に簡単で信頼性が高いものができますね。自分で作りこむのがバカらしくなりますね。 ということで、fluentd利用時に気を付けておきたいことについて調べてみました。内容は公式ドキュメントの内容をベースに自身で調べたことを追記しています。公式ドキュメントへのリンクも貼ってありますので適宜そちらをご覧いただければと。 環境
fluentdとNorikraでDoS攻撃を遮断し、メールで通知する方法
ビックデータ時代の柔軟なサーバ管理方法 前回の投稿でNorikraのQueryについて学んだので、今回は実用的な例でQueryを作成してみます。 Nginxのログを取得し、DoS攻撃らしき兆候を察知したらメールで通知。 さらにDoS攻撃と認定したら、即アクセスを遮断するという仕組みを実装します。 目次 fluentdとNorikraの連携について NorikraOutputでfluentからNorikraへイベントを渡す nginxのaccess.logでDoS攻撃を察知する NorikraInputでNorikraのイベントをfluentdへ渡す NorikraでDDoS認定されたIPをメールで通知する exec Output Pluginを利用して外部スクリプトと連携する fluentdと連携する外部スクリプトを作成 fluentdとNorikraの連携について ログファイルの取り込み
buffer_queue_full_actionについて - Qiita
fluentdのv0.12.19から，buffer_queue_full_actionというパラメータを追加したので，その説明をします． 目的 fluentdのバッファはキューが全部埋まってデータをもう入れられない場合，Inputプラグイン側にBufferQueueLimitErrorを返します．これによって，in_forwardであれば送信側にエラーを返せるなど，リトライ/フォールバックがやりやすくなってます． その一方in_tailのような場合には，どうせキューが空かないと次のデータを読み込んでもまたエラーになるので，ブロックして待って欲しいこともあります． ということで，この二つを選べるようにしました． v0.14でプラグインやバッファ周りのAPI改善を考えており，そこでback-pressure相当の機能を考えています．もし入るのであれば上の機能はいらなくなる予定ですが，そもそも入
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd
Amazon.co.jp: データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化]: 鈴木健太, 吉田健太郎, 大谷純, 道井俊介: 本![Amazon.co.jp: データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化]: 鈴木健太, 吉田健太郎, 大谷純, 道井俊介: 本](https://cdn-ak-scissors.b.st-hatena.com/image/square/1846fda6a30830b4937b9c8cfe6afb22d62a0174/height=288;version=1;width=512/https%3A%2F%2Fm.media-amazon.com%2Fimages%2FI%2F51DaJ8XniUL._SL500_.jpg)
Fluentd の out_forward プラグインで良く出る warning メッセージとその負荷対策まとめ : sonots:blog
Fluency - Yet another fluent logger
秒間数万のログをいい感じにするアーキテクチャ
