[B! fluentd] at_yasuのブックマーク

Objective-C版のfluent-loggerをつくりました - laiso

以下に公開しました。 https://github.com/laiso/CocoaFluentLogger 試作版です。とりえあずiOSビルドだけで確認しました。下図は有能なUUIDv4オブジェクトが無限に株式会社はてなに入社してゆく様子です*1。 //#import <CocoaFluentLogger/CocoaFluentLogger.h> CocoaFluentLogger* logger = [[CocoaFluentLogger alloc] initWithHost:@"192.168.0.9" port:24224 tagPrefix:@"debug"]; [logger connect]; while(1) { NSString* user = [[[NSUUID UUID] UUIDString] stringByReplacingOccurrencesOfStrin

at_yasu 2013/04/05

ほほぉ

リンク

Treasure Data - naoyaのはてなダイアリー

少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。

at_yasu 2013/03/23

リンク

LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー

ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue

at_yasu 2013/02/06

リンク

Fluentd | Open Source Data Collector

Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.

at_yasu 2012/05/30

ログ解析鯖

リンク

http://dl.dropbox.com/u/224433/fluentd_casual_1/index.html

at_yasu 2012/05/19

リンク

fluent-plugin-zabbix リリース - 酒日記はてな支店

fluentd の出力プラグイン、fluent-plugin-zabbix をリリースしました。 Github fujiwara/fluent-plugin-zabbix https://github.com/fujiwara/fluent-plugin-zabbix fluent-plugin-zabbix | RubyGems.org https://rubygems.org/gems/fluent-plugin-zabbix] 監視とメトリクス収集に Zabbix を使っているので、fluentd で収集した値を zabbix に送って扱いたかったのです。挙動としては zabbix_sender でホスト側から送信するのと同様です。主に datacounter や flowcounter で集計した値を送るのを想定していますが、送信頻度に気をつければなんでも送れると思います。作成

at_yasu 2012/04/17

fluentd

リンク

Webサーバ勉強会#5にいってきた＆しゃべってきた - たごもりすメモ

参加者が全員発表というハードコア勉強会「Webサーバ勉強会 #5」に行ってきた。 Webサーバ勉強会 #5 : ATND お題がApache2.4 or Varnish or fluentd ということで聞きたい話題は満載、話せる話題は……Apache2.4で何か試せるかなと思ってたけど時間がなかった、ので普通にfluentdまわりで最近やってたことをしゃべってきた。 Fluentdでログ収集「だけ」やる話 #study2study View more presentations from tagomoris 内容はざっくり要約すると「とにかく各サーバからディスクに書かれてるログをストリーム状に集めてひとつのファイルに書き込みたい、形式をいじられると困るので生ログそのままで！どうしたらいいの！」という話。実はFluentd標準の機能ではできない、ので、このへんのツール＆プラグインを組合せ

at_yasu 2012/03/30

fluentd
web

リンク

Webサーバ勉強会＃5をやりましたよ＆fluentd使ってみた的な話しました。 - oranie's blog

やりましたよ。今回はこれ。 http://atnd.org/events/26493 ■Apache2.4　新機能とかについて ■Varnishについて ■Webサーバログ運用について（主催者の個人的なfluentdブームです。）参加して頂いた方のブログは以下の通り！ id:nappa_zzzさん Webサーバ勉強会#5に参加してきましたよ @xcirさん Webサーバ勉強会＃5でVarnishではじめるESIって発表してきました @do_akiさん Webサーバ勉強会#5 で mod_lua について発表してきました @tagomorisさん Webサーバ勉強会#5にいってきた＆しゃべってきた @yut148 Webサーバ勉強会#5に参加して発表というものを初めてさせていただいた件 ※他にブログとかあげた人は教えて下さい！＞＜色々と実際の運用話しとか面白い話が聞けて、またも俺得な感じで