fluentdでsyslog受信しようとしたらハマった - blog.youyo.info
スイッチとかのログを集めようと思って下記のような設定をしてテストしてみるも、エラーを吐いてうまくいかない。 <source> type syslog port 514 bind 192.168.21.1 tag network1 </source> <match network1.local0.*> type file buffer_type file path /var/log/td-agent/test.log compress gzip </match> 2014-11-14T19:40:31+09:00 fluent.error {"error":"invalid time format: value = 'administrator' succeeded for, error_class = ArgumentError, error = invalid strptime form
Docker Logging | Fluentd
The following article describes how to implement an unified logging system for your Docker containers. Any production application requires to register certain events or problems during runtime. The old fashion way is to write these messages to a log file, but that inherits certain problems specifically when we try to perform some analysis over the registers, or in the other side, if the applicatio
fluentdとKibanaでRailsのログを簡単に可視化 - Qiita
昨年の秋から，学生プロジェクトで学内向けのRailsアプリを開発しています． 2月からオープンベータで公開されるので，それに向けてログの収集と可視化をしてみました． 環境は下記の通りです． Ubuntu Server 14.04 Ruby 2.2.0 & Ruby on Rails 4.2.0 td-agent 0.10.58 Elasticsearch 1.4.1 Kibana 3.1.2 fluentdのインストール fluentdはOSSなログ収集ツールです． Rubyで書かれているので，gemでpluginを追加したりします． 今回はRailsアプリを動かすサーバにtd-agentを入れました． td-agentは，Treasure Dataがメンテナンスしているfluentdの安定板です． 公式のマニュアルに従って，debパッケージをインストール． スタートアップに登録して，El
リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。 - Qiita
リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。ElasticsearchDockerNorikraKibanafig このエントリーはドワンゴアドベントカレンダー17日目のエントリーです。 ストリーム処理エンジンのNorikraについて、最近聞くことが増えてきました。 使ってみたい方は結構いるのではないでしょうか。 とは言え、「ストリーム処理を試してみたい、環境構築してやってみよう」と思っても、JRuby入れてNorikra入れて、fluentd入れてNorikraとのin/outの連携して、集計結果を格納する為にElasticsearch構築して、Kibanaから見れるようにして、認証機構や改廃の機構も入れて...あ、ストリームソースも用意しなきゃ...となって、そこそこ手間が掛かりま
Google、FluentdをKubernetesとCompute Engineの標準ログコレクタに採用 - Qiita
Google、FluentdをKubernetesとCompute Engineの標準ログコレクタに採用FluentdgooglecomputeenginekubernetesGoogleCloud まずはFluentdコミュニティの皆さん、おめでとうございます！！！ Googleを中心に開発されているオープンソースのDockerジョブスケジューラKubernetes (k8s)、それにGoogle Cloud Platformのログ収集サービスGoogle Cloud LoggingのGoogle Compute Engine用ログコレクタとして、Fluentdが標準採用されました。もうひとつおまけに、fluent-plugin-bigqueryをフィーチャしたソリューションページも、あと1か月くらいでcloud.google.comにて公開される見込みです（これは私がいま仕上げ中）。
FluentdがKubernetesの標準ログ収集ツールとして採用
Googleがオープンソースとして公開したKubernetesは、コンテナ型仮想化ソフトウェアのDockerを管理するツールです。開発プロジェクトにはDocker、RedHat、IBM、VMware、マイクロソフトなど多数の企業が参加を表明しています。 Kubernetesは、複数のDockerコンテナにまとめてアプリケーションをデプロイし、設定を行い、稼働状況を監視、管理し、サービスへのトラフィックをルーティングするなど、クラスタとしてDockerを運用するための多くの機能を備えています。 このKubernetesで使われる標準のログ収集ツールとして、オープンソースのfluentdが採用されたことが明らかになりました。下記はそれを伝えるGoogle佐藤氏のツイート。 fluentdがKubernetesの標準ログコレクタに採用されたぜ！！！ https://t.co/V8VDM4IE7e
サーバ／インフラエンジニア養成読本 ログ収集〜可視化編 [現場主導のデータ分析環境を構築！]
この本の概要 データ分析による継続的改善を目指す組織は，ビッグデータとも呼ばれる大規模化したログを分析部門に渡すまでのシステム構築を必要としています。提供するサービスを改善（分析）するには「ログの収集，データの保持，可視化（分析）」というサーバ／インフラエンジニアが関わる工程を外して考えることはできません。本書では，大規模化したログを効率的に収集できるFluentdをはじめ，データストア，検索・解析サーバとして注目を集めているElasticsearch，これらとセットで使用される可視化ツールのKibanaを解説します。 こんな方におすすめ サーバエンジニア，インフラエンジニア（Web系，ITインフラ系） この書籍に関連する記事があります！ 『サーバ／インフラエンジニア養成読本 ログ収集～可視化編』出版記念！執筆者が語る大講演会！ レポート［セッション編］ 9月9日，シナジーカフェ GMO
![サーバ／インフラエンジニア養成読本 ログ収集〜可視化編 [現場主導のデータ分析環境を構築！]](https://cdn-ak-scissors.b.st-hatena.com/image/square/709d95c71cfc6371c2d04727c7a0d95dfe5ea820/height=288;version=1;width=512/https%3A%2F%2Fimage.gihyo.co.jp%2Fassets%2Fimages%2Fogp%2F2014%2F9784774169835.jpg)
Labeled Tab-separated Values (LTSV)
Description Labeled Tab-separated Values (LTSV) format is a variant of Tab-separated Values (TSV). Each record in a LTSV file is represented as a single line. Each field is separated by TAB and has a label and a value. The label and the value have been separated by ':'. With the LTSV format, you can parse each line by spliting with TAB (like original TSV format) easily, and extend any fields with
zusaar.com - このウェブサイトは販売用です！ - zusaar リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Fluentd meetup in Japanに参加してきました。 - t_otodaのブログ
今日は Fluentd meetup in Japan >http://www.zusaar.com/event/193104 に参加してきました。 そのメモを少し書き換えて、感想を書かせていただきます。 ※かなり雑ですみません。 ※あと私のフィルタがかかってしまい、メモし切れていない箇所が多分にあります。 ご容赦ください。。。 ====================================================== 「What's Fluentd? - The missing log collector」 http://www.slideshare.net/treasure-data/fluentd-meetup-in-japan-11410514 Treasure Data, Inc. 古橋 貞之 (@frsyuki) =======================
Fluentdでログ収集「だけ」やる話 #study2study
The document discusses using Fluentd to collect raw logs. It describes how the basic method uses in_tail and out_file plugins, but that traditional systems require raw logs. The fluent-agent-lite and fluent-plugin-file-alternative plugins are introduced as ways to collect and output raw logs with Fluentd while maintaining high performance and throughput. Configuration examples are provided for usi
Fluentd: Log Aggregation Made Simple – Community Feedback for 2012 Hadoop Summit
2012 Hadoop Summit suggested: We describe the philosophy and design of Fluentd, an open-source, distributed, pluggable, streaming log collection system. Fluentd was designed to achieve two goals in mind: log collection could be dead simple and extensible in a scalable way. Fluentd treats logs as JSON streams, not as traditional files. This eliminates the burden of analytic systems to parse logs in
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd ソースコード完全解説 at RubyKaigi2014 : sonots:blog
Fluentdのお勧めシステム構成パターン
Blogger
Fluentd Meetup Japanに参加しました。 | @johtani の日記