Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
トレジャーデータ、データ転送ミドルウェアFluentdの商用版「Fluentd Enterprise」の提供を開始 ―データの暗号化、認証済み各種プラグインも提供 | gihyo.jp
トレジャーデータ、データ転送ミドルウェアFluentdの商用版「Fluentd Enterprise」の提供を開始 ―データの暗号化、認証済み各種プラグインも提供 トレジャーデータ（株）は、同社が中心となって開発しているオープンソースのデータ収集ミドルウェア「Fluentd」の機能を強化し、エンタープライズ向けに商用化した新製品「Fluentd Enterprise」の販売を7月11日より開始した。 Fluentdはもともと共同創業者である古橋貞之氏がオープンソースソフトウェアとして開発し、企業等にも広く使われているデータ収集ソフトウェアの定番の1つ。2016年11月にはCNCF（Cloud Native Computing Foundation）の管理するプロジェクトに認定、トレジャーデータ在籍のコミッターが80％を占めるコミュニティで開発が進んでいる。 今回販売開始となった「Flu
Djangoのログ出力をFluentdで集める - 偏った言語信者の垂れ流し
Djangoのログ出力をFluentdで集める方法について。 ログレベルがERRORやWARNINGのものはSentryを使うのが便利だと思うけど、それ以外のINFOやDEBUGはSentryに入れるには数が多すぎるのでどうするか考えてて、最初はローカルのファイルに書き出していた。 けどまあ複数のサーバーにログファイルがあるとやっぱり不便だったので、Fluentdを使って一箇所に集めることにした。 簡単にできるかなーと思ってたんだけど、fluent-logger-pythonのlogging用のハンドラのインターフェースが合わなくて、ちょっとハマってた。 fluent-logger 0.4.1 : Python Package Index 試したバージョンは、Python 2.7、Django 1.6、fluent-logger-python 0.3.3、msgpack-python 0.
たごもりすメモ
AWS LambdaでRubyランタイムを使っててzipアーカイブで関数コードをアップロードしてる人向け。 基本的にはGemfileに依存関係書いてbundle config set --local path 'vendor/bundle'してbundle installすればいい。以下のドキュメントを読もう。 docs.aws.amazon.com んだけど、Gemfileにrubygems.org以外から取得したgem、特にgitを指定したものを使っている場合にこれだけだとうまくいかないので、原因と対処を書いておく。 そもそもLambdaは何をやってるか 上述ドキュメントを読むとわかるが、zipファイルにはGemfile.lockもGemfileも入れない。それで動作する。これはどういうことかというと、AWS Lambdaのランタイム側ではBundlerを使わず(?)、vendor/b
Fluentd 経由で BigQuery に Schema-less なログを入れる - Qiita
背景 gumi で提供しているソーシャルゲームは, サーバ/クライアント共に様々なログを Fluentd 経由で各種データストアに入れており, 適宜, 解析を行っている. ログの種別により, Schema-full or Schema-less を選択しているが, 本記事では Schema-less なログの取り扱いを話題とする. Schema-less なログの必要性 サーバ/クライアントの開発時から運用時まで, 常に次のような要望がある. 「気軽に適当なフォーマットでログを出力したい」 Schema-full なデータストアを採用する場合, 開発者に次のルールを強いる必要がある. ログ出力前にテーブルのスキーマを定義せよ ログ出力中にテーブルのスキーマを変更するなら, 別テーブルにせよ これらのルールを開発者が守らない場合, Fluentd 側でエラーが発生するため, 開発者はインフラ
アクセス解析を始める前に知っておきたいS3→BigQueryのこと。 - Qiita
この記事について 株式会社うるるでは、2014年からTreasure DataとAWS S3に運営サービスのアクセスログを流し込んでいます。今回はアクセスログをS3からBigQueryに流し込み、サービス退会者の動向を探ってみました。 BigQueryを採用した理由 BigQueryとはGoogleが提供するビッグデータのストレージサービスです。RDBMSのような体裁を持っているため、クエリを発行してログを検索することが可能です。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita アクセスログを外部サービスに流し込むとき、既にFluentdを利用するのがディファクトスタンダード。Fluentdのbigqueryプラグインを使えば、オンタイムでBigQueryにアクセスログを流し込む事ができます。 fluent-pl
docs.fluentd.orgからの日本語ドキュメントの削除 - Qiita
Remove multi language page from official site. #160 というパッチを今日マージしました． 背景 fluentd-docsはdocs.fluentd.orgのリポジトリです．前は英語しかなく，各言語の翻訳バージョンが欲しいという要望があったので(特に日本語)，複数言語を表示出来るように少し前にしました． ただ，Fluentdの開発者達は基本英語でドキュメントを書くのと，逐一日本語へ翻訳するのはかなりのコストなので，日本語への翻訳はコントリビューションベースという感じになりました． サポートした最初の頃は良かったんですが，Fluentd本体の進化にともない英語のドキュメントが更新される一方，日本語への翻訳ペースは全然追いつかないようになっていました(ほぼmazgiさん一人に頼り切りになってました)． 問題点 分かるとは思いますが，日本の方は日本
データ可視化に便利なkibanaは、elasticsearchのプラグインとして構成すると便利 #Fluentd - Y-Ken Studio
Fluentdなどから収集したメッセージをelasticsearchへ格納してKibanaで可視化するソリューションは素晴らしく、とても人気があります。次の画像のように見栄えが良いことも特徴です。 このダッシュボードアプリであるKibanaはJavaScriptアプリケーションです。そのため静的ファイルを配置すればどこでも動きます。 しかしそれだけのためにApacheやNginxなどのWEBサーバを新たに起ち上げるのは手間ですよね。 実は新たに起ち上げない方法もあるのです。こんな時に役立つTipsを紹介します。 elasticsearchのsiteプラグイン siteプラグインは、ウェブベースのインターフェースを提供するものです。 elasticsearchの挙動へ変更を加えるものではないため、サービス停止(再起動)を行わずにインストール・アップデート・アンインストールができます。 モニタ
FluentdとRiakの話 - After Coding
Fluentdは、Ruby製のログコレクタだ。コードは公開されている。 様々なログを構造化して一元管理することができ、収集と解析へのハードルを大きく下げてくれる。 インストールもプラグイン開発も簡単。日本語の資料も多い。 その資料も様々あるが、プラグインを見るならこれが最良だと思う。必要な情報がよくまとまっており、必読といえる。 Big Data入門に見せかけたFluentd入門 from Keisuke Takahashi データの確実な転送を実現するバッファ機能については、池田大輔さんのブログが詳しい。さて、Fluentdはデータを収集してくれるが、保存はしてくれない。 永続化にはデータベースが必要だ。 そこで、Riak。 Basho社がスポンサードするErlang製分散型KVS。これもOSSだが、契約によって商用サービスが受けられる。 これがまたエッジ立ちまくってて
Fluentd(td-agent)のインストールとPythonからの利用 - 偏った言語信者の垂れ流し
Fluentdを使おうと思って調べてる。 Fluentdを使うと、各種ログを集約したり、いろいろな出力先に振り分けたりが簡単にできる。 Rubyで実装されていて、gemでインストールすることができるけど、今回はRubyの実行環境も含めてパッケージ化されたtd-agentを使う。 GitHub - treasure-data/td-agent: This repository is OBSOLETE, check gh/treasure-data/omnibus-td-agent バージョンはUbuntu 12.04(precise)、Python 2.7、td-agent 0.10.35、fluent-logger-python 0.3.3。 ドキュメントがあるので、この通りでよさそう。 http://help.treasure-data.com/kb/installing-td-agen
#Fluentd meetup in Japan # 2
http://www.zusaar.com/event/355006 概要 Fluentd の公式サイトオープンと開発者古橋氏の来日に併せて「第2回 Fluentd Meetup」を開催します。 以前にも増して使い方が多様化してきたFluentd。そのノウハウをこの機会に共有しましょう！ 参考: http://fluentd.org/ Ustream配信 ※有志によってUST配信が決定しました。以下のチャンネル http://www.ustream.tv/channel/fluentd-meetup-in-japan によって配信
Fluentd | Open Source Data Collector
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentd の go 実装におけるプラグイン構想