LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー
ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue
ログレベルの使い分け方/コミュニケーション手段としてのログ - blog.nomadscafe.jp
Log::Minimal v0.02をリリースしました。xaicronさんのpatchにより出力するログのレベルを変更することができるようになりました。 WARN以上のログだけを出したい場合、$Log::Minimal::LOG_LEVEL を変更します。 use Log::Minimal; local $Log::Minimal::LOG_LEVEL = "WARN"; infof("info"); #出力されない warnf("warn"); #出力される デフォルトのレベルはDEBUGです。なお、デバックメッセージを出すには環境変数も設定されている必要があります。 ところで、Log::Minimalでは4つのログレベル、DEBUG、INFO、WARN、CRITICALをサポートしていますが、他のLogモジュールではより詳細なレベルを用意しているものがあります。そのため、アプリケーショ
運用におけるエラーログの重要性もしくはLog::Minimalってモジュール書いた話 - blog.nomadscafe.jp
追記 CPANにアップしました http://search.cpan.org/dist/Log-Minimal/ /追記 アプリケーションサーバでエラーが起きていたり、レスポンスが遅かったりする場合に、Operation Engineer(インフラエンジニア)がまず見るのは、エラーログです。エラーログにでているメッセージを手がかりに原因を探ります。 サーバでエラーが起きている時には、データベースに接続ができなかったり、外部のAPIからレスポンスが得られない、またプログラムのBugが原因となっている場合もあるでしょう。またエラーにならなくても、複数台あるデータベースのスレーブサーバうち一台が落ちて接続をretryしていたり、APIのレスポンスが遅い際にはサーバ全体のパフォーマンスが低下します。 エラーログに障害の原因を探る情報があれば、Operation Engineerは素早く対応を開始で
livedoor Techブログ : 公開わたしのスクリプト 〜ログの読み方編〜
do$です。 えーと。まずこの美しくないスクリプトを晒します。（特に読まなくてOK!） #!/usr/local/bin/perl -w # <***/> use strict; my $access_log = '/usr/local/apache/logs/access_log'; my %mail_header = ('Return-Path' => 'return@example.com', 'From' => 'from@example.com', 'To' => 'to@example.com', 'Subject' => 'FooBar-test', 'X-FooBarLog' => 'TEST'); my %cgis; my $line_s; my $line_e; my $all_line; my %status_code; my $log_str_500; { ## h
DBIC での SQL 覗き見と Log::Dispatch - daily dayflower
今まで $schema->storage->debug(1) として標準出力に出力される SQL 文を監視していたのですが，なぜか早く終わるリクエストでとらえきれなくなってしまいました。 やむなくロガーを導入することにしました。Log::Log4perl は仕様が重そうなので（log4j のときも設定とかめんどくさかったなぁ）パス。Log::Agent とかなかなか魅力的と思ったのですが，Log::Dispatch の設計思想にやや惹かれてこちらを使うことに…あ，Log::Log4perl ってこれをバックエンドにしてたんですか。作者の Dave Rolsky さんは DateTime のメンテナでもあるんですね。ふむふむ。 インストール自体はさっくり終了（というかテストスクリプトが簡潔すぎ）しました。DBIx::Class::Storage::DBI には debugcb というデバッグ
Event Log XP - Windows event log viewing, monitoring and analyzing software
For Windows Administrators Filters events by any criteria Stores user credentials Automates labor intensive tasks Monitors and notifies about events More about sysadmin features... For Forensic Investigators Retrives detailed information Reads damaged event log files Exports to Excel and other formats Cuts costs More about forensics features... Event Log Explorer™ for Windows event log analysis Ev
Snare Agents - Snare
The global standard for feature-rich, reliable, lightweight log collectors. Rock solid log collection is both a compliance and security imperative. When companies across the world want the best, they choose Snare. Log collection is the bedrock of a strong SIEM solution and the Snare Agents are the global standard for feature-rich, reliable, lightweight log collectors. We have been the go-to log co
川o・-・）＜2nd life - Visitors, a fast web log analyzer
http://www.hping.org/visitors/ 高速なapache log analyzer。公式には No installation required, can process up to 150,000 lines of log entries per second in fast computers (20MB/s with my log files average length). と、一秒で150,000行さばけるとうたっている。うちの環境で実際に10万行ほどのログを食わせたところ1秒ちょいと非常に高速にさばけた。出力ではhtml(サンプル)だけならずテキスト(サンプル)も選べる。 ログアナライザとして必要な機能は一通りそろってるし、Googleからの検索キーワードも表示できてGood。日本語検索ワードだとeuc-jpやsjisやutf-8だったりするのでnkfをか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
