Norikra� + Fluentd�+ Elasticsearch� + Kibana���� リアルタイムストリーミング処理�ログ集計による異常検知daisuke-a-matsui
このエントリでEC2インスタンスにfluentdをインストールした続き. EC2インスタンスのAMIはUbuntu Server Cloud Guest 11.10 64Bitを使用. nginxをインストール 公式ドキュメントを参考に, apt-get用リポジトリにnginxを追加. > cd work_dir # 適当な作業ディレクトリへ異動 > wget http://nginx.org/keys/nginx_signing.key > sudo apt-key add nginx_signing.key > sudo vi /etc/apt/sources.list ファイル末尾に下記リポジトリを追加. deb http://nginx.org/packages/debian/ squeeze nginx deb-src http://nginx.org/packages/debi
The AI-powered CDP for the world’s largest companies. Recognized as a Leader by Gartner. Gartner® names Treasure Data a Leader in the 2024 Magic Quadrant™ for Customer Data Platforms. Get Magic QuadrantGet Critical Capabilities Treasure Data empowers the world’s largest and most innovative companies to drive connected customer experiences that increase revenue and reduce costs. Built on a big data
Installing custom plugins¶ To install a plugin, put a ruby script to /etc/fluent/plugin directory. Or you can create gem package that includes lib/fluent/plugin/<TYPE>_<NAME>.rb file. TYPE is in for input plugins, out for output plugins and buf for buffer plugins. It’s like lib/fluent/plugin/out_mail.rb. The packaged gem can be distributed and installed using RubyGems. See Searching plugins. class
Either email addresses are anonymous for this group or you need the view member email addresses permission to view the original message Hello,I read this announcement in Twitter => https://twitter.com/#!/bascule/status/187377279310106624 made by @tarcieri regarding the development status from Cool.io and giving the suggestion of considering instead his most recent work Celluloid, https://github.co
開発, plugin, fluentd | 23:34 | fluentd --setup すると、そのディレクトリには fluent.conf と plugin ディレクトリが作成される。標準時は /etc/fluent/plugin のプラグインが読み込まれるが、-p でプラグインのパスを指定すればそこからプラグインを読み込むので、簡単にプラグイン開発ができる $ fluentd -c ./fluent/fluent.conf -p ./fluent/plugin プラグインの動作を確認したら CTRL+C で止めればよい。最も簡単な入力プラグイン # ./fluent/plugin/in_hoge.rb class HogeInput Fluent::Input Fluent::Plugin.register_input('hoge', self) def start Fluent:
Fluentd meetup in Japan に行ってきた。 意識が高まったので、fluent-plugin-say なるものを作った。 これは Fluentd の output plugin で、 say コマンドで受け取った文字列を喋らせる便利ツールである。say コマンドなので、もちろん Mac OS X のみ対応だけど、 syslog とかを喋らせて楽しめる。 コアな部分のソースコードはこんな感じでかなり簡単。 ruby 1.9.x の環境で、 $ gem install fluent-plugin-say するとついでに fluentd もインストールしてくれるので、以下のような設定ファイルを書く。 あとは、 $ fluentd -c fluent.conf で fluentd を起動させた後、http://localhost:8888/say?json={%22message
Fluent-plugin-dstat is a plugin for the Fluentd logging system that allows it to monitor system resources in real-time by parsing output from the dstat system monitoring tool. It can be configured to capture CPU, disk, network, and process statistics from servers and send the data to MongoDB for centralized cluster monitoring and display on a web-based client using WebGL rendering. The demo config
This document discusses NHN Japan's use of Fluentd for log collection, conversion, and analysis. It summarizes their architecture which involves collecting logs from servers using Scribeline, delivering them to Fluentd processes, converting the logs to a structured format using Fluentd plugins, writing the structured data to HDFS, and performing analysis and reporting with Hive. Key aspects discus
今日は Fluentd meetup in Japan >http://www.zusaar.com/event/193104 に参加してきました。 そのメモを少し書き換えて、感想を書かせていただきます。 ※かなり雑ですみません。 ※あと私のフィルタがかかってしまい、メモし切れていない箇所が多分にあります。 ご容赦ください。。。 ====================================================== 「What's Fluentd? - The missing log collector」 http://www.slideshare.net/treasure-data/fluentd-meetup-in-japan-11410514 Treasure Data, Inc. 古橋 貞之 (@frsyuki) =======================
前回の話から、メモリについては西海岸方面の協力を得てあれこれ試していた。 #fluentd の性能・リソースに関する最近のいくつかの傾向の話 - tagomorisのメモ置き場 最終的には ruby 1.9.3-p125 + jemalloc + fluentd v0.10.16 でメモリ使用量が安定した。 jemallocについてはこのあたりを読むといいんじゃないでしょうか(自分で説明するのはめんどくさいw) jemallocとかLD_PRELOADについて調べてみた - As a Futurist... 結果、ピーク時間帯になっても used 6GB に行かないくらい。ワーイヤッタヨー。 ということでjemallocは社内用rpm*1を用意し fluentd 起動用のshファイル(supervisordからこれを指定して起動している)を以下のようにした。LD_PRELOADを加えただけ
いくつかそれぞれ違う内容のことについて書きます。また複数の変更をほぼ同時期にやったケースもあり「お前それ分けてやれよ」と言いたくものがあるかもしれません。いや分かってはいるんだけど、そうそう変更ばっかりもしてられないからまとめてやりたいじゃんよ。 前提ですが、今回出てくるサーバはすべて、fluentdのみを8プロセスずつ起動している物理サーバです。fluentd meetupのときに「deliverサーバ」として紹介したやつ。各Webサーバからログを受け、アーカイブサーバにscribeプロトコルで送ると同時にロードバランスしてログ変換サーバに forward で送る配送サーバ。out_forwardのインスタンスが57あります。 ruby 1.9.2 -> 1.9.3 にした 前々から全くトラフィックの流れていないスタンバイ用のサーバでもメモリの使用量が徐々に上がっていって定期的な再起動が
前に自分で書いた fluentdのためのプラグインをイチから書く手順 - tagomorisのメモ置き場 はたいへん重宝していたのだが、書いたすこし後になって実は現在すでに bundle gem コマンドを使うやりかたが良さそうだということがわかってしまったがばたばたしてて移行してなかった。 で、またひとつプラグインを書くことにしたのでついでに bundle を使った手順をざっくりまとめておく。以下のエントリをたいへん参考にさせてもらった。 T-POINTを取得するスクリプトをGistから移動, Bundlerを使ったGem作成メモ (自分用) - ただのにっき(2012-02-18) 準備とディレクトリツリーの作成 bundler は必要なので、なにはなくとも入れておこう。 gem install bundler そしてプラグイン用ディレクトリツリーを作成する。今回は DataCount
fluentd の出力プラグイン、fluent-plugin-zabbix をリリースしました。 Github fujiwara/fluent-plugin-zabbix https://github.com/fujiwara/fluent-plugin-zabbix fluent-plugin-zabbix | RubyGems.org https://rubygems.org/gems/fluent-plugin-zabbix] 監視とメトリクス収集に Zabbix を使っているので、fluentd で収集した値を zabbix に送って扱いたかったのです。 挙動としては zabbix_sender でホスト側から送信するのと同様です。主に datacounter や flowcounter で集計した値を送るのを想定していますが、送信頻度に気をつければなんでも送れると思います。 作成
README.orgFluent Logger Rails README Note: Not tested in production Introduction This is a basic gem that provides a FluentLoggerRails::Logger which can be swapped instead of the default Rails 3 logger. Usage In order to swap the Rails default logger, we require the railtie included in the gem so that it is loaded during Rails initialization process. gem 'fluent-logger-rails', :require => 'fluent_
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く