fluentdで設定したformat（正規表現）をメモしておく
Fluentularを利用したり@tagomoris氏のページを見ながら格闘したので記録 ざっくりとした設定 <source> type config_expander <config> type tail path /some/path/to/log pos_file /some/path/to/pos/file tag some.tag ☆ </config> </source> 以下だらだら挙げる各ログ名の下にある斜体の設定が☆の部分に入る Apache ssl_access_log format apache2 [ログ] xx.xx.xx.xx - - [30/Dec/2013:16:49:34 +0900] "GET / HTTP/1.1" 304 - xx.xx.xx.xx - - [30/Dec/2013:16:49:49 +0900] "GET /assets/jquery
fluentdのoutput_s3プラグイン - Qiita
output_s3プラグインは、fluentdでs3にアップロードするためのプラグインです。 プラグイン全般の基礎知識はこちらから。 td-agentを使用している場合はデフォルトで入っていますが、fluentのgemを使用している場合はfluent-gemからインストールします。 パラメーター type (required) output_s3プラグインを使用するのでs3とします。 aws_key_id (required/optional) AWSのアクセスキーid aws_sec_key (required/optional) AWSのシークレットキー s3_bucket (required) S3のバケット名 buffer_path (required) ログをバッファする際のファイルパス s3_region S3のリージョン Asia Pacific (Tokyo)はap-nor
fluentdの複数sourceディレクティブで各label毎に特定record追加 - :>/dev/null
fluent(td-agent)を使用したlabel切り分けで各label毎にrecord追加する対応が発生したので設定時でのメモ。 sourceディレクティブが複数あり、送信時に特定recordを追加して送りたい場合に有効。 汎用性がありそうな為、調査・対応を下記へ記載しておく。 以下構築要件 sourceディレクティブを各label名にて割り当 各label毎に特定recordを追加 以下td-agent2環境fluentd v0.12以降のバージョン向けの設定例 <source> @id in_redis_server @type tail @label @redis-server read_from_head true path /var/log/redis/redis.log pos_file /var/log/td-agent/redis.pos format none mes
【nginx/fluentd/s3/athena】fluentdでs3にlogを出してathenaで分析できるようにする その２ - hamayuzinの日記
auto scale関係で、サーバーのログがすぐ消えてしまう環境で、ログをどこかに置いておきたい場合がある。 今回は、nginxのaccess_logを、fluentdでS3にアップロードし aws athenaで分析できるようにする 環境は、aws ec2のamazon linux上。 【目次】 ec2にfluentdをセットアップ ecからs3にファイルアップロード <- いまここ athenaで分析する ecからs3にファイルアップロード 最終的な設定ファイル "/etc/td-agent/td-agent.conf" <source> type config_expander <config> type tail path /var/log/nginx/access.log tag nginx_${hostname}.access pos_file /var/log/td-agen
Fluentd(td-agent) "Aws::CloudWatchLogs::Errors::InvalidSequenceTokenException" 回避方法 - Qiita
事象 fluent-plugin-cloudwatch-logs を使用して複数の AWS EC2 インスタンスから CloudWatch Logs の同一 LogStream へ転送していた際、下記の様な WARNING によりログ転送が行われませんでした。 2016-05-14 02:08:24 +0000 [warn]: temporarily failed to flush the buffer. next_retry=2016-05-14 02:42:45 +0000 error_class="Aws::CloudWatchLogs::Errors::InvalidSequenceTokenException" error="The given sequenceToken is invalid. The next expected sequenceToken is: 999999
いまさらだけど fluentd に入門した - えいのうにっき
仕事で僕が担当してるプロダクトでも、「そろそろ fluentd を...」という話題が出始めた。 社内の別プロダクトでは既に導入されてるものもあったりして、たぶん会社的にはノウハウも溜まり始めてきてるとは思うんだけど、なにせ僕自身が fluentd について雰囲気しかわかってないままだったので、それじゃイカンなと、いまさらだけどようやく fluentd に入門した。そのついでにメモった内容を晒す。 入門前のイメージ みんな「アプリは何も考えず、とりあえず fluentd に投げとけば幸せになれる」って言ってる なので、そういう感じの存在なんだろうな fluentd は、くらいの理解しかない 具体的にどう幸せになるのかはあんまり想像が付いてない "d" がついてるので、デーモン的な何かかな？ ロゴがイカしてる くコ:彡 ゴール 実際に導入するとなったら具体的にどんなことをしなければいけないの
td-agentでRails 4のproduction.logを取得する – joppot
English 日本語 概要 みなさんこんにちはcandleです。今回はrails 4のproduction ログをtd-agentで取得してみたいと思います。 数年前にも同じ記事を書いたのですが、説明不足があったりしたので書き直します。 また、後日Rails5での取得の仕方も紹介します。 関連記事 rails5の方は以下の記事を参考にしてください。 td-agentでRails 5のproduction.logを取得する 前提 ruby on railsをproductionモードで動かせる webrickでもnginxでもpumaでもapacheでも良いですが、productionモードで動かせる状態を作っておいてください。 td-agentかfluentdがインストールされている ruby on railsを動かすマシーンにtd-agentかfluentdがインストールされている事が
fluentd(td-agent)でGoogle Cloud Storageにログをためる - will and way
初めてrubyを書いた。mixinとかいろいろ省略してかけるとかaliasをメソッドに貼るとか便利だなーというのが感想。 gemの公開もbundleコマンドでさくさく出来たのでこれは開発者にとってかなり魅力的なのでは。エコシステム？が素晴らしい。 さて、本題ですが、今、開発中のfluentdのoutputプラグインの使い方をメモ。Fluentd(td-agent)からGoogle Cloud Storageにログのファイルを直接置くという役割。 ルビー書き始めて２日なのでまだまだクソース&開発中です。まさかりまってます gem fluent-plugin-google-cloud-storage-out | RubyGems.org | your community gem host github github.com モチベーション Google Cloud Storage (以下、GC
fluentdでGoogle Compute Engineのログを一つに集約する | A-TAK
前回、Google Compute EngineでオートスケールするWebサーバーを構築しましたが、ログが各サーバーに分散したり、インスタンスが終了するとログも消えるので、Fluentdでログを一カ所に集めることにしました。 オートスケールは便利だがどこに接続しているかわからん前回の記事↓ 前回、GCE上に負荷に応じて自動でサーバーが勝手にできあがっては消えていくオートスケールのWordPressサーバーを構築しましたが、問題が起きたときのログを確認するのが非常に面倒だと気づきました。 MarsEditからWordPressに画像投稿すると、絶対に投稿に失敗するという問題が起きていまして(現在は解決)、ただWebサーバーが複数あるので、一体どこのサーバーにエラーログが残っているかわからない。片っ端から見るのは面倒…。 Fluentdというのが流行 最初はsyslogでログを転送して一カ所に
fluentdによるログ収集システムの構築～基本編
サーバーのセットアップ fluentdのインストール公式ドキュメントのとおり、インストーラーを実行してインストールします。 $ curl -s http://toolbelt.treasuredata.com/sh/install-redhat.sh | sudo bash 実行すると、TresureDataのリポジトリ(/etc/yum.repo.d/td.repo)が作成され、RPMパッケージがインストールされます。 [vagrant@fluentd-server ~]$ curl -s http://toolbelt.treasuredata.com/sh/install-redhat.sh | sudo bash This script requires superuser access to install rpm packages. You will be prompted f
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RailsのログをFluentdでtailしてslackへ通知 - Qiita