[B! fluentd] sheeploghのブックマーク

NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog

Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問題を解消するにあたり Fluentd に PR を送ったのでそれの紹介もします。 https://github.com/fluent/fluentd/pull/2352 データ収集基盤の構成 Repro のデータ収集基盤はFlunetd High Availability Configをもとに構成され、大まかに次のようになっています。 SDK からアップロードされたデータは、転送用 Fluentd(log forwarders)を経由し

sheeplogh 2019/07/03

リンク

2017年12月7日　「Fluentd v1.0」がリリース、マルチプロセス、Windowsサポート、700以上のプラグイン | gihyo.jp

Linux Daily Topics 2017年12月7日「Fluentd v1.0」がリリース、マルチプロセス、Windowsサポート、700以上のプラグイン 12月6日（米国時間⁠）⁠、米テキサス州オースティンで開催中の「KubeCon + CloudNativeCon」（⁠主催: The Linux Foundation）の会場において「Fluentd v1.0」がリリースされた。米Treasure DataのファウンダーでFluentdの開発者である古橋貞之氏も自身のTwitterでv1.0のローンチを明らかにしている。 Fluentd v1.0 - Cloud Native Computing Foundation Did you see so many amazing news from Fluentd...!? Fluentd 1.0 is released! #CloudN

sheeplogh 2017/12/08

fluentd

リンク

Fluentd 入門〜運用に必要な基礎知識〜

最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En

sheeplogh 2017/10/23

fluentd

リンク

Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita

「BigQueryは120億行を5秒でフルスキャン可能」は本当か？先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきましたこれを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent

sheeplogh 2014/05/20

リンク

Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio

ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは

sheeplogh 2013/12/05

fluentd

リンク

fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス技術戦略部ブログ]

株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 Rubyfluentdtd-agentlog はじめまして。開発チームの yuzuki です。 7/1に弊社の決済サービスPaid（ペイド）のサーバー群へログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。ログ集約を改善する動機弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バッチでWebサーバー上のログファイルをファイルサーバーへ転送することで一応の集約をさせてきました。（集約というよりはバックアップといった意味合いの方が強いかもしれません）サーバー台数が少なかった頃はこの仕組みでも特に大きな問題はなかったと思いますが、サービスの成長にあわせて、サーバー台数が増え