意図せず fluentd のバージョンが 0.14 系になってしまったら - えいのうにっき
いま、ちょっとしたサーバのセットアップを行っているんだけど、そこで少しハマってしまったのでメモとして残しておく。 ↓のようなコマンド（公式ページにも記載されているもの）で td-agent のバージョン2系（fluentd は 0.12系のはず）をインストールしているにも関わらず、 $ curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh セットアップを終えて起動させた td-agent のログを見ていると↓のようなエラーがでていて、 2017-02-19 13:04:02 +0900 [error]: #0 [nginx_forest] failed to configure/start sub output copy: Unable to activate fluent-plugin-b
Fluentdで集めたログを監視するときに気をつけたいFluentdの設定 | DevelopersIO
コンニチハ、千葉です。 AutoScalingに組み込んでいるサーバのログ監視をしたいことって、よくあると思います。 今回は、AutoScaling配下のサーバにfluentdを入れてログ収集サーバにて一括で集めて、ログ監視をする場合に気をつけたことをまとめておきます。 ログサーバ側のtd-agent.conf ログサーバではこんな感じで、td-agent.confを設定しました。 <source> type forward port 24224 bind 0.0.0.0 </source> <match dev.web.log> type copy <store> type file buffer_path /var/log/td-agent/buffer/local_dev.web.log.buf symlink_path /var/log/td-agent/logs_current/
TreasureDataの2015年を新機能で振り返る - Qiita
普段トレジャーデータでサポートしてる@nora96oです。 今回は、Treasure Data Advent Calendar 2015の10日目の記事です。 去年は、TreasureDataの1年半を機能面で振り返るという記事を12月に書いたので、今年も2015年を振り返ってみます。 Streaming Import Fluent Bit Fluentd Bitという組み込みLinux向けにC言語で書き直された軽量のFluentdをリリースしました。 MQTTやXbee Input Pluginを持っていてIoT向けのFluentdといったところです。 ちなみにMailing ListやSlackなどもあって、興味があれば参加してみていただけると嬉しいです。 メインメンテナのEduardoが喜びます。 Slack: http://slack.fluentd.org Mailing lis
Fluentd v0.12 master guide
This document provides an overview of Fluentd, an open source data collector. It discusses the key features of Fluentd including structured logging, reliable forwarding, and a pluggable architecture. The document then summarizes the architectures and new features of different Fluentd versions, including v0.10, v0.12, and the upcoming v0.14 and v1 releases. It also discusses Fluentd's ecosystem and
Treasure Agent 2.2.0のリリース - Qiita
すでにアナウンス済みですが，Treasure Agent(td-agent) 2.2.0を出しました td-agent 2.2.0 - Google Groups パッケージ内の更新は以下の通りです． fluentd v0.12.7 fluent-plugin-s3 v0.5.7 fluent-plugin-mongo v0.7.8 td v0.11.8.2 fluentd-ui v0.3.18 ruby 2.1.5 json 1.8.2 cool.io 1.3.0 Amazon Linux support fluentd v0.12 このバージョンから，fluentdがv0.10ではなくv0.12系が使われるようになりました．その結果，Filter/Label，forwardプラグインでのat-least-onceなどが使えるようになります． これらの機能に関しては，v0.12のリリース
Treasure Agent(td-agent)の1と2の今後 - Qiita
Treasure Dataが提供しているFluentdの配布パッケージであるtd-agentの今後について書く．この記事は http://docs.fluentd.org/articles/td-agent-v1-vs-v2 http://docs.treasure-data.com/articles/td-agent2 とかMLでのアナウンスを日本語でまとめたような感じの記事です． 現在は1と2の二つのバージョンが並行してリリースされているので，まずそれぞれの違いについて書きます． td-agent 1 今までのメインバージョンであり，現在はold stable．同梱ライブラリの大きなバージョンアップはありません．最新版の1.1.21では以下のものが同梱されています Ruby 1.9.3 jemallocやmsgpackなど，コアライブラリ群 Fluentdとよく使われるプラグイン群 サ
MySQLのslow query logを可視化するnata2が大変便利そう - oranie's blog
MySQL Casual #6で@studio3104さんが発表していたnata2を触った。 My sql casual talks vol.6 from studio3104_com で、とりあえずローカルにnata2を起動しtd-agentを入れてプラグインを入れてmysqlslapを実行してみた。 動作環境はRuby2.1.2で。1.9系は動かなかった。 手順はgithubにも書かれているが、 https://github.com/studio3104/nata2 https://github.com/studio3104/fluent-plugin-nata2 以下は簡単な流れ。 まずnata2自体の設定。 git clone https://github.com/studio3104/nata2.git cd ./nata2 bundle install vim ./config
「一番使いやすく簡単なビッグデータサービスを目指す」─トレジャーデータ、2014年の展開を発表 | gihyo.jp
「一番使いやすく簡単なビッグデータサービスを目指す」─トレジャーデータ、2014年の展開を発表 6月12日、米国Treasure DataのCEO 芳川裕誠氏、および日本法人であるトレジャーデータ（株）ジェネラルマネージャ堀内健后氏が会見を行い、同社の2014年度の事業戦略について説明を行いました。 芳川裕誠氏 堀内健后氏 gihyo.jpの読者の皆さんにはおなじみですが、同社はいわゆるビッグデータの収集、保存、分析しやすい形での取り出しを一気通貫で提供するサービスを展開しています。同社開発のオープンソースのログ収集システムfluentdは今やログデータの解析には定番となっています。 同社は2012年末に日本法人を立ち上げ、2013年5月から事業展開を開始しました。そしてこの1年で、グリー（株）、（株）良品計画、GMOペパボ（株）等、デジタルマーケティングやゲーム業界から大口
sensu + fluentd + norikra で sensu server のログを眺めてみる - ようへいの日々精進XP
追記 追記（1）Failed: Incorrect syntax near 'output' (a reserved keyword) のエラー こちらが参考になった esper の予約語のようですな はじめに タイトル通り sensu server を検証するあたりログをチラチラ見れたら嬉しいよね しかもせっかくログまでも JSON な sensu は fluentd との相性は抜群！ということで試した 準備 細かい設定については割愛させて頂きます... 既に稼働している sensu server に td-agent と norikra をインストールする 以前に作った Dockerfile を一部流用 fluentd.conf(td-agent.conf) 今回は td-agent を利用したので td-agent.conf は以下のような感じでシンプルに。 <source> typ
Fluentd update 2013 - Qiita
Fluentd / td-agentのリリースマネージャをしているrepeatedlyです．Fluentd Advent Calendarの8日目の記事になります． 色々とネタはあるのですが，なんかまとめっぽい記事の方が話題になると聞いたので，それっぽいネタで行くことにしました．2日目に「Fluentd 2013年開発・状況まとめ / 2014年に向けて」という開発体制的な話が出たので，この記事ではこの1年でFluentdに入った機能をいくつか紹介することにします． MLには毎度投げているのですが，全部の変更を追うのは難しいとは思うので，バージョンアップの目安にしてもらえればと思います． 各機能の後の()は利用可能になったバージョンです． Fluentd本体 --dry-runオプション (0.10.36) 他のサーバなどにあるconfigtestをするためのオプションです．--dry-r
Fluentd 2013年開発・状況まとめ / 2014年に向けて | Post Moratorium
Fluentd 2013年開発・状況まとめ / 2014年に向けて ワイワイ！Fluentd Advent Calendar 2日目担当の @kzk_mover です。このエントリでは2013年 Fluentd の開発・コミュニティの状況まとめをお届けします。 2013年開発まとめFluentdコア自体は2013年、191 commit (そのうち @repeatedly が 84 commit)。ドキュメントの方は326 commitあります。コア以外にも、2012年年末に約70だったプラグイン数は、2013年12月1日現在に約3倍の206個となっています。 Fluentdのコア自体は10回リリースされ、td-agentは6回リリースされています。大体Fluentdが月1回、td-agentが月に2回の計算になります。また、@repeatedlyがTD社に入社し、td-agentのメンテ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd
SIOS Tech. Lab - エンジニアのためになる技術トピックス
fluentdでapacheのアクセスログをmongoDBにつめる方法 - Qiita
Google Apps Scriptで行データを連想配列として扱う | Nikushi's blog