Fluentular: a Fluentd regular expression editor
Regular Expression Test String Custom Time Format (See also ruby document; strptime) Example (Apache) Regular expression: ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$ Time Format: %d/%b/%Y:%H:%M:%S %z
いまさらだけど fluentd に入門した - えいのうにっき
仕事で僕が担当してるプロダクトでも、「そろそろ fluentd を...」という話題が出始めた。 社内の別プロダクトでは既に導入されてるものもあったりして、たぶん会社的にはノウハウも溜まり始めてきてるとは思うんだけど、なにせ僕自身が fluentd について雰囲気しかわかってないままだったので、それじゃイカンなと、いまさらだけどようやく fluentd に入門した。そのついでにメモった内容を晒す。 入門前のイメージ みんな「アプリは何も考えず、とりあえず fluentd に投げとけば幸せになれる」って言ってる なので、そういう感じの存在なんだろうな fluentd は、くらいの理解しかない 具体的にどう幸せになるのかはあんまり想像が付いてない "d" がついてるので、デーモン的な何かかな？ ロゴがイカしてる くコ:彡 ゴール 実際に導入するとなったら具体的にどんなことをしなければいけないの
fluentdで集約したerror_logをslackに流すと捗る - UNIX的なアレ
nanapiでは社内のチャットツールに、Slackを導入しています。Slackの便利なところはintegration周りで、要するに他のツールとの連携が非常にし易いんですね。そういった、Chatを中心にした業務効率化を最近ではChatOpsと呼んだりします。 http://nanapi.co.jp/blog/2014/07/24/nanapi_chatops/ ChatOpsの重要な点はコンテキストを共有できる点ですよね。「○○ってエラーログが出てるよ」みたいな情報を直接誰かに伝えるのではなく、ログが出ているという状態をChatを経由して同じものを見ることで、説明が非常にラクになります。 ほかにもデプロイをHubot経由で指示したり、ステータス取得をしたりなど様々な使い方がありますがやはり重要なのは同じ画面を皆が見ているということですね。そういった点がChatOpsの大きなメリットとしてあ
Fluentdの正規表現を攻略する - Qiita
formatのデバッグツール Fluentdのログの正規表現が正しいかはFluentularで確認しならが操作できる。 http://fluentular.herokuapp.com/ ただし、これはHerokuの無料プランで動いているらしく使用できないことも多いのでDockerからでもできる 作成方法 定義されたフォーマットを指定するか正規表現を利用します。 定義されたフォーマット一覧 fluentd側で予め10個の定義が用意されています。デフォルトのログの設定を利用している場合はこれらを使用することができると思われるので使用すると良いでしょう。 apache2 apache_error nginx syslog tsv csv ltsv json none multiline ただし、注意点としてこれは常に通用するものではなく、該当する場合にのみ使用することができます。 apache2
Fluentdのインストールとconfigについて - Qiita
とりあえずは公式サイトのインストールドキュメントに添って Fluentdとは ログ収集ツール RubyとCで実装 Rubyのデーモンとして動く td-agentはFluentdに色々プラグインを入れてくれてる版 # 実行 $ sudo launchctl load /Library/LaunchDaemons/td-agent.plist # 確認 $ less /var/log/td-agent/td-agent.log 2017-10-17 16:50:53 +0900 [info]: reading config file path="/etc/td-agent/td-agent.conf" 2017-10-17 16:50:53 +0900 [info]: starting fluentd-0.12.36 # ※ログ長いので省略 # 停止 $ sudo launchctl unlo
Fluentdで正規表現のチェックをする「Fluenter」 | 株式会社ビヨンド
インフラエンジニアの伊藤です。 Fluentdってログ集めるには便利なツールなのですが、 いかんせん面倒なのが正規表現の確認。 調べていると、正規表現をチェックするスクリプトを設置して 正規表現の設定をしていく、ということを言うサイトが多いのですが、 こんなサイトがありました。 Fluentular: a Fluentd regular expression editor 使い方はとっても簡単です。 まずは正規表現を入力して、parseしたいログを書き込みます。 時間のフォーマットを指定する場合は「Custom Time Format」に入力しておきましょう。 「Parse」をクリックすると、画面の下に結果がでます。 自動でコンフィグファイルの設定が出力されます。 かつ、「Data Inspector」でデータがパースされていることが確認できると思います。 正規表現の書き方が悪かった場合は
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
centos6.5にtd-agentサーバを構築する – joppot