Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
Fluentd Casual Talks #3にいってきました。 #fluentdcasual : きょうもぼへぼへちゃんがゆく
2013年12月14日 01:24 カテゴリfluentd Fluentd Casual Talks #3にいってきました。 #fluentdcasual Posted by ashibuya0128 No Comments No Trackbacks 初ヒカリエ。 まぁまずは、渋谷駅ダンジョンにつかまって、間に合わないかとおもいました。 Fluentd Casual Talks #3の会場DeNAさんオフィスに到着。 最初は@tagomorisさんの「norikura」頭のCPUについていけなかった。 聞いているだけで、いっぱいいっぱいでしたが、これは使ってみたい。 fluent-plugin-norikra #fluentdcasual from SATOSHI TAGOMORI というか、最初Wifiにつながらなくて、ｱﾀヽ(д｀ヽ彡ノ´д)ノﾌﾀしてたら、 お話がはじまったので全力
高速ファイル/メッセージ転送 K2HFTFUSE の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Technical Yahoo の中谷です。 今回は、Yahoo! JAPANからオープンソースとして公開した高速ファイル/メッセージ転送システムの K2HFTFUSE の紹介をします。 K2HFTFUSEは、確実で高速なファイル/メッセージ転送を低コストで実現するために開発されたシステムです。 K2HFTFUSE（K2Hash File Transaction by FUSE-based file system）とは、FUSE（Filesystem in Userspace）によるユーザースペースでのマウント機能を利用したファイル/メッセージ転送システムです。 K2HFTFUSEは、仮想ファイルシステムを提供し、マウ
Docker Log Management Using Fluentd ·
Blog Projects Jason Wilder's Blog Software developer and architect interested in scalability, performance and distributed systems. Docker Log Management Using Fluentd Mar 17, 2014 · 5 minute read · Comments logging fluentd docker Docker is an open-source project to easily create lighweight, portable and self-sufficient containers for applications. Docker allows you to run many isolated application
超初級！Fluentdのプラグインを書きたくなった時の下地づくり · さよならインターネット
January 5, 2013 fluentdをまともに動かしたことないけど プラグイン書いたらわかるのでは！！？ と思い立って取り敢えず下地だけつくったのでメモ。 参考 fluentdのためのプラグインをイチから書く手順(bundler版) / tagomorisのメモ置き場 Writing plugins / fluentd fluent-plugin-imkayac / fujiwara fluent-plugin-r18 / studio3104 基本はもりす先生の手順にそって行えば問題なし。 参考にオフィシャルのドキュメントと @fujiwaraさんのシンプルなプラグイン @studio3104さんの下地を見ながら書くとなおよし。 また、rake testまで通したものを https://github.com/kenjiskywalker/fluent-plugin-hoge こ
Dive into Fluentd plugin v0.12
The document discusses how to configure Apache Kafka to prevent data loss and message reordering in a data pipeline. It recommends settings like enabling block on buffer full, using acks=all for synchronous message acknowledgment, limiting in-flight requests, and committing offsets only after messages are processed. It also suggests replicating topics across at least 3 brokers and using a minimum
SIOS ビッグデータ技術ブログ: Postfixのログをfluentdを使ってTreasureDataに送る
こんにちは、SSTDの髙橋です。 前回の更新から日が空いてしまいましたが、引き続き継続して情報発信をしていきたいと思います。 さて、社内メールにGmailなどのクラウドサービスを使うことは一般的になってきましたが、それでも社内メールサーバと連携することは一般的です。 そうした中で、メールサーバに障害が発生した際に、SSHしてメールサーバのログを必死に読み解いていくはなかなか面倒です。 そこで今回は、Postfixのログをfluentdを使ってTreasureDataに送ってみたいと思います(td-agentをご利用の方はfluentdの箇所をtd-agentと読み替えて御試し下さい)。 実行環境 Postfixやfluentdの設定は既に設定済みであるとします。 Mac OS 10.9.4Postfix 2.9.4smtpにはgmailを設定済fluentd 0.10.52 fluent-
Fluentd v0.12 master guide
This document provides an overview of Fluentd, an open source data collector. It discusses the key features of Fluentd including structured logging, reliable forwarding, and a pluggable architecture. The document then summarizes the architectures and new features of different Fluentd versions, including v0.10, v0.12, and the upcoming v0.14 and v1 releases. It also discusses Fluentd's ecosystem and
プラグイン作成 — fluentd 0.10 documentation
カスタムプラグインのインストール¶ プラグインをインストールするにはrubyスクリプトを /etc/fluent/plugin ディレクトリに置きます。 もしくは lib/fluent/plugin/<TYPE>_<NAME>.rb ファイルを含んだgemパッケージを作ることができます。 TYPE in はインプットプラグイン、 out はアウトプットプラグイン、 buf はバッファプラグインです。たとえば lib/fluent/plugin/out_mail.rb のようになります。パッケージされたgemはRubyGemsを通じてインストールと配布が行えます。 プラグインの検索 を参照してください。 class SomeInput < Fluent::Input # Register plugin first. NAME is the name of this plugin # whic
fluentdのoutputプラグインでブロックするものはBufferedOutputを使うべき - still deeper
tl;dr タイトルのまま 前置き fluentdクラスタのあるノードにだけ、そのノードに送信しているout_forwardがdetachされ続けるという症状が出ました。 調査したところ、外部への通知用に追加したhipchatプラグインを追加したところで症状が発生するようです。 原因 BufferedOutputプラグインでの write メソッドでのスタックトレースはこんな風になります。 /home/choplin/git/fluentd/lib/fluent/buffer.rb:296:in `write_chunk' /home/choplin/git/fluentd/lib/fluent/buffer.rb:276:in `pop' /home/choplin/git/fluentd/lib/fluent/output.rb:309:in `try_flush' /home/cho
Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法 - Y-Ken Studio
fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。 これは扱いやすいのですが万能では無く、次のような状況ではパフォーマンス的な観点で、このインデックスの粒度を変更することを検討すると良いケースがあります。 粒度を細かくしたいケース（時間単位） 日毎のインデックス作成では、elasticsearchに割り当てたメモリ量を超えてしまう 粒度を荒くしたいケース（週単位/月単位/年単位） 日毎のインデックス作成では容量が小さく、日常的に検索する範囲が複数のインデックスに渡るとき Kibanaは年月日以外の粒度（時間・日・週・月・年）にも対応していますので、変更することも容易です。これは次の2つの設定変更で適用できます。 ログ収集を行うElasticsearchへ流し込む、
Treasure Agent Monitoring Service (ベータ)
Apache Hadoop の現在と将来（Hadoop / Spark Conference Japan 2016 キーノート講演資料）Hadoop / Spark Conference Japan
Rubyist Magazine - スはスペックのス 【第 1 回】 RSpec の概要と、RSpec on Rails (モデル編)
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0063 号 バックナンバー Rubyist Magazine 0063 号 Rubyist Magazine 0062 号 Kaigi on Rails 特集号 RubyKaigi Takeout 2020 特集号 Rubyist Magazine 0061 号 Rubyist Magazine 0060 号 RubyKaigi 2019 直前特集号 Rubyist Magazine 0059 号 Rubyist
Fluentdの知られていない6つのこと - Boost Your Programming!
Fluentdの知られていない6つのこと 本当に知られていないかはわからないです。 公式にはあまり説明されていなかったり調べてもなかなか見つからないことが多いと個人的に思ったものを集めました。 機能や言葉の細かい説明は省いているのである程度使っている人が対象です。 out_copyはshallow copy Fluentdで最初に使うであろうビルドインされているout_copyプラグインですが、実はデフォルトではメッセージをdeep copyしないため意図しない結果になることがあります。 <match test> type copy <store> type record_modifier tag test.aa foo bar </store> <store> type retag tag test.bb </store> </match> <match test.{aa,bb}> ty
FluentdとRedisを使ったランキング機能の実装 | SmartNews開発者ブログ
ゴクロの大平です。ごくろうさまです。 Redisは高速で、かつデータの永続化や、複数のデータ型によるストア(list,set,sorted set等）も対応しており、機能的が豊富ということから愛用者の多いKVS実装の一つだと思います。 特に私のようなアプリケーションエンジニアの人間にとってはデータ型のバリエーションの豊富さが便利さを感じる部分で、たとえばlistを用いてタイムライン的な情報や履歴情報の管理、sorted setを用いてランキング情報の管理、などのようにアプリケーションの需要の多くにRedisが対応することができます。 これらの情報を登録する際のフローとしては自作のアプリケーションから直接、というケースが多いと思いますが、せっかくFluentdのような便利なlog collector実装があるので、FluentdとRedisを組み合わせる事でカジュアルに情報の蓄積を行いたい
Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析）
前回の記事では splunk enterpriseを使ってみました。 今回もログ解析プラットホームである、Kibanaを使ってみます。 Kibanaは検索などにElasticsearchを利用します。 またKibanaはデータの収集にLogstashの利用を推奨しています。 それぞれ以下のようなプロダクトです。 Logstash ログデータを収集し、解析して保存します。 この組み合わせで使用する場合、保存先はelasticsearchになります。 Elasticsearch リアルタイムデータの全文検索や統計などをRestfulインターフェースで提供します。 Kibana データの情報を描画し、検索したりドリルダウンで情報をたどれるGUIアプリケーションです。 この３つを組み合わせて使用すると便利なログ解析プラットホームが作れますよというのがKibanaの売りです。 データの収集や解析を行
apache-loggen + fluentd + elasticsearch + kibana = ログ検索デモ
もう何番煎じだ？ってくらい書かれてますが、コリもせず書いてみました。 Elasticsearch＋Kibanaの環境を作って、タムタムさんのログ生成ツールからApacheのダミーログを流しこんで入れてみました。 参考URL memorycraftさんのブログ Kibana Elasticsearch fluentd apache-loggen インストールと起動 今回はCentOSへのインストールです。 基本的にはmemorycraftさんのブログの流れのままです。 elasticserchのインストールと起動 ダウンロードして、起動するだけ。 お試しということで、-fオプションにてコンソールにログ出力。 curl -OL https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.1.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
td-agent だけどbundlerを使う方法.md
bitbucketの使い方
OutputとBufferedOutputの間の何か
