CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む - hibomaの日記
2018/7/18 追記 3.10.0-862.9.1.el7 で fix されました hiboma.hatenadiary.jp 2018/7/4 追記 最新の情報はこちらにまとめています hiboma.hatenadiary.jp 2018/6/16 追記 CentOS Plus の kernel-plus では修正が入っています. 詳しくはこちらをご覧ください hiboma.hatenadiary.jp エントリの概要 CentOS7.5 の fsnotify() がレースコンディションを起こすバグを、 nginx + td-agent (fluentd) + in_tail プラグインで踏んだ際の調査内容を記していきます. イントロダクション このエントリを書いた時点では、CentOS 7.5.1804 以降でリリースされているカーネルは 3つありますが、カーネルの fsnotif
FluentdのログフォーマットでS3に保存されたApacheのアクセスログをAmazon Athenaで集計する - Fusicきばんブログ
突然の Amazon Web Services Advent Calendar 2016 の 15日の記事です 基盤ユニットの小山 ( @k1LoW )です。 AWS re:Invent 2016すごかったですね。 数多くのサービスが使える形でリリースされてきました。 ただ、個人的にはその後の aws-sdk-ruby が v3に上がる というエントリーを見て、awspecをどうしようか戦々恐々としています。 awspecを aws-sdk-ruby v3.0.0.rc2 で動かしてみようと思ったら、依存している https://t.co/TIuG9dGHfH のテストが v3.0.0.rc2 失敗したので、1回休み— k1LoW (@k1LoW) 2016年12月14日 突然のアクセスログ集計 あるAWS上に構築しているシステムプロジェクトで、突然「月単位でのアクセス集計1年間分」という
fluent-plugin-aws-elasticsearch-service を使う場合は reload_connections を false にする - kakakakakku blog
最近 Amazon Elasticsearch Service にログを転送している Aggregator の /var/log/td-agent/td-agent.log に以下のログが出力されていて，調査してわかった fluent-plugin-aws-elasticsearch-service を使う場合に必要な設定に関してまとめておく． 2016-10-24 16:54:50 +0900 [warn]: temporarily failed to flush the buffer. next_retry=2016-10-24 16:54:52 +0900 error_class="Elasticsearch::Transport::Transport::Error" error="Cannot get new connection from pool." plugin_id="xx
Aurora のスロークエリログを Fluentd 経由で Amazon Elasticsearch Service に転送する - kakakakakku blog
Aurora でスロークエリログを出力して，Fluentd 経由で Amazon Elasticsearch Service に転送する構成を作った．MySQL on EC2 のときは，サーバ内で直接スロークエリログを確認していて非常に面倒だったので（単なる運用上の考慮不足），運用面で大きく改善できるし，アプリケーションエンジニアも自由に Kibana で確認できるため，パフォーマンス改善が捗ると思う．非常に良い． アーキテクチャ図 Aurora インスタンスパラメータ デフォルトのインスタンスパラメータではスロークエリログは有効になっていないため，パラメータを変更する必要がある．今回はスロークエリログを有効にするだけではなく，デフォルトで10秒になっている閾値を5秒に変更した． パラメータ名 Before After slow_query_log <engine-default> 1 l
fluentd自身のログにまつわるノウハウ - still deeper
fluentdのログ 流行に敏いみなさまは既にfluentdのクラスタを組まれているかと思います 1 が、fluentd自体のログはどうしてますでしょうか？ サーバーに直接入って確認している？せっかくログアグリゲーターを組んでいるのだから、fluentd自体のログもfluentdで管理しませんか。 fluentdでは以下の様な match を定義しておくと、自身のログをメッセージとして流すようになっています。 <match fluent.**> ... </match> 流れてくるメッセージはこんな感じ。 fluent.info: {"message":"force flushing buffered events"} fluent.warn: {"message":"emit transaction failed"} fluent.error: {"message":"forward e
td-agent のメモリバッファとファイルバッファでどんな違いが発生するか観察してみた - ようへいの日々精進XP
はじめに 先日、DevOps 向け Fluentd 勉強会 at IPROS で聞いた話の中で Ouptput プラグインのバッファの関して下記の点について気になったので調べたくてウズウズ。 Output プラグインのメモリバッファとファイルバッファの性能はほとんど差異は無い デフォルトはメモリバッファだがファイルバッファがオススメ また、fluent-logger を使ってサーバーの負荷が激しく上がってしまった件について質問させて頂いたがよくよく考えるとこのバッファについて全く考慮しないままの利用だったので、この件でも解決への糸口になるのではということでメモリバッファとファイルバッファで何が違うのかを調べてみた。 構成 検証環境 以下のような検証環境を用意した。 役割 バッファタイプ / Output / アプリケーション OS td-agent バージョン スペック 備考 Forwar
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
NLBでfluentdのforwardパケットを分散させてみた - Qiita
AWSの新しいロードバランサであるNLB(Network Load Balancer)を使ってfluentdのforwardパケットを分散してみたので、レポートをまとめておく。 NLB自体については、クラスメソッドのブログ等で紹介されているのでそちらを参照するのが分かり易い。 静的なIPを持つロードバランサーNetwork Load Balancer（NLB）が発表されました！ 試してわかった NLB の細かいお作法 ざっくり言うと、TCPプロトコルを対象にしたALBって感じ。 ターゲットグループはポートレベルで設定できるので、コンテナ環境と相性が良い。 ポート違いで複数fluentdが立っていても同じグループとしてまとめて分散できる。 利用までの流れ ターゲットグループを作成し、TCPレベルでコネクションが貼れるかのヘルスチェックの設定をする インスタンスもしくは対象IPと、ポートの組を
FluentdでApacheのエラーログを収集する正規表現 - Qiita
Apache のエラーログを in_tail プラグインで収集する設定サンプルを紹介します。 fluent.conf (td-agent.conf) fluentd < v0.10.53 OR td-agent < v1.1.21 <source> type tail path /var/log/httpd/error_log format /^(\[(?<time>[^\]]*)\] \[(?<level>[^\]]+)\] (\[client (?<host>[^\]]*)\] )?(?<message>.*)|(?<message>.*))$/ time_format %a %b %d %H:%M:%S %Y tag apache.error pos_file /var/log/td-agent/apache_error.pos </source> # 送り先を Fluentd の標
fluentdのout_fileプラグインの仕様について - hack in 3 minutes
ウィークリーFluentdユースケースエントリリレー #1 の記事です。 ウィークリーFluentdユースケースエントリリレーまとめ @oranie さんが in_tail を解説されてたんで、Output plugin から out_file を解説しようかと思います。さまざまな output に対応する Fluentd ですが、一番シンプルで基本的なこのプラグインの動作を今一度確認してみました。 file plugin out_file はその名の通り、他の出力から受け取ったバッファをファイルに書き出すプラグインです。 公式ドキュメントは こちら 設定例はこんな感じです <match pattern> type file path /var/log/fluent/myapp time_slice_format %Y%m%d time_slice_wait 10m time_format
Fluentdの知られていない6つのこと - Boost Your Programming!
Fluentdの知られていない6つのこと 本当に知られていないかはわからないです。 公式にはあまり説明されていなかったり調べてもなかなか見つからないことが多いと個人的に思ったものを集めました。 機能や言葉の細かい説明は省いているのである程度使っている人が対象です。 out_copyはshallow copy Fluentdで最初に使うであろうビルドインされているout_copyプラグインですが、実はデフォルトではメッセージをdeep copyしないため意図しない結果になることがあります。 <match test> type copy <store> type record_modifier tag test.aa foo bar </store> <store> type retag tag test.bb </store> </match> <match test.{aa,bb}> ty
Fluentdで集めたログを監視するときに気をつけたいFluentdの設定 | DevelopersIO
コンニチハ、千葉です。 AutoScalingに組み込んでいるサーバのログ監視をしたいことって、よくあると思います。 今回は、AutoScaling配下のサーバにfluentdを入れてログ収集サーバにて一括で集めて、ログ監視をする場合に気をつけたことをまとめておきます。 ログサーバ側のtd-agent.conf ログサーバではこんな感じで、td-agent.confを設定しました。 <source> type forward port 24224 bind 0.0.0.0 </source> <match dev.web.log> type copy <store> type file buffer_path /var/log/td-agent/buffer/local_dev.web.log.buf symlink_path /var/log/td-agent/logs_current/
fluentd最低限のメモ - Qiita
curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh fluentdですが、実際のデーモンはtd-agentという名前です。 fluentdは開発版の名前で、安定版の名前がtd-agentなのだとか。 バージョン確認
意図せず fluentd のバージョンが 0.14 系になってしまったら - えいのうにっき
いま、ちょっとしたサーバのセットアップを行っているんだけど、そこで少しハマってしまったのでメモとして残しておく。 ↓のようなコマンド（公式ページにも記載されているもの）で td-agent のバージョン2系（fluentd は 0.12系のはず）をインストールしているにも関わらず、 $ curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh セットアップを終えて起動させた td-agent のログを見ていると↓のようなエラーがでていて、 2017-02-19 13:04:02 +0900 [error]: #0 [nginx_forest] failed to configure/start sub output copy: Unable to activate fluent-plugin-b
Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた - 酒日記 はてな支店
fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messaging. プロダクション環境に投入して、2週間ほど快調に動作しているので記事を書いておきます。 アーキテクチャと特徴 S3にデータが保存されたタイミングで、Amazon SNS または SQS にメッセージを飛ばすイベント通知機能がありますので、それを利用しています。 (何者か) S3 にデータを保存する (fluent-plugin-s3, その他どんな手段でも可) (S3) SQS に S3 の path 等が記述されたメッセージを通知する (Rin) SQS のメッセージを受信し、Redshift へ CO
Fluentd update 2016 - Qiita
毎年やっているので，2016年もFluentd周りで起きたあれこれをまとめておこうと思います．v0.14がリリースされたり，CNCF入りしたりと色々と大きく前進した年でした． Fluentd本体 以下が現在の各リリースの最新バージョンです． old stable: 0.10.62 Current stable: 0.12.31 Development: 0.14.10 0.10は2016年末でEOLなので(アナウンス)，これ以降新しいバージョンはリリースされないことに気をつけてください．0.10.0のリリースが2011年10月なので，約5年開発されていたことになります(実際はここ1年は開発してないので実質は4年ですが)． また，v0.14が開発版という位置づけではあるものの，それなりに機能が実装され，gemから普通にインストールして使うことが出来るようにもなりました．Docker環境とかで
mackerel-plugin-fluentd を使うなら "[at]id" を指定するべし - kakakakakku blog
タイトルに @id を書いておくと Twitter でメンションが飛んでしまうため [at]id に修正しました 🙇🏻 前置き mackerel-plugin-fluentd を使うと，Fluentd のメトリクス（バッファサイズ／リトライカウントなど）を Mackerel のカスタムメトリックにポストすることができる．ログの流量が多い場合など，バッファサイズを監視できていると運用しやすいし，是非使っておきたいところ． ちなみに Fluentd のメトリクスを取得するなら事前に monitor_agent を conf に含めておく必要がある．詳しくは Monitoring Fluentd | Fluentd に書いてある． <source> @type monitor_agent bind 0.0.0.0 port 24220 </source> plugin_id のデフォルト値は
![mackerel-plugin-fluentd を使うなら "[at]id" を指定するべし - kakakakakku blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/21ade0e681250428de62d3c7a239b4453cce4ef1/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkakku22%2F20160926%2F20160926073434.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentd-scr/02_out_forward_buffered.md at master · sonots/fluentd-scr
Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) - Qiita
Fluentd
