GoAccess - Visual Web Log Analyzer
What is it? GoAccess is an open source real-time web log analyzer and interactive viewer that runs in a terminal in *nix systems or through your browser. It provides fast and valuable HTTP statistics for system administrators that require a visual server report on the fly. Why GoAccess? GoAccess was designed to be a fast, terminal-based log analyzer. Its core idea is to quickly analyze and view we
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
app serverがリクエストの処理にかかった時間をログに記録する
Webアプリケーションのパフォーマンスをトラッキングするために、app serverの処理にかかった時間を記録したい。 方法を、以下のように分類できる。 1. reverse proxy側で、proxy先のapp serverがレスポンスを返してくるのにかかった時間をログに記録する場合 1.1 nginx 1.2 apache 2. app serverでリクエスト処理にかかった時間を出して、ログに記録する場合 2.1 reverse proxyで記録する場合 2.2 app serverでログに記録する場合 1と2とでは出てくる数字が違うだろうけど、本件に必要なのはパフォーマンス改善を示す一貫した指標なので、どっちでもいいと思う。 1. reverse proxy側で取る場合 1.1 nginx log_formatディレクティブに$upstream_response_timeという変数
Apache 2.4 BufferedLogs - どさにっき
2012年3月1日(木) ■ Apache 2.4 BufferedLogs _ 2.4 のドキュメントを読んでいたら、 BefferedLogsで実験的という文字が消えていることに気がつく。おおおおぉぉぉ。これでおおっぴらに使える。2.2 までは experimental 扱いだった。 _ 最近はハードウェアが無駄に高スペック化していて、いまや CPU は複数コアでないのを探す方が困難で、メモリも HDD も足りなくて困るということはまずない。大して処理能力の必要がないサーバではリソースが余りまくってしまう。そんなわけで1台のハードウェアに複数の仮想ホストを収容することが多い。 _ 罠。数字の上では潤沢にリソースがあるように見えても、分割すると意外と性能が出ないことがある。その筆頭がディスク I/O。HDD の容量は昔よりずっと増えてるけど、データを読み書きする磁気ヘッドの数はほとんど変
最新のログファイルにリンクが作れるようになった Apache 2.4.1 の rotatelogs を試す - blog.nomadscafe.jp
この機能欲しかったんだよねー。 CustomLogで、pipeしてrotatelogsを使ってログ分割を行う場合、 CustomLog "|/path/to/rotatelogs /path/to/log/access_log.%Y%m%d%H 7200 540" ログファイルは、 $ ls -1 access_log.2012030116 access_log.2012030118 の様に最新のファイルが変更になります。tail -f で追いかけていた場合は、途中でファイルを手動で切り替えないとならないのでとても不便です。また、fluentdのtail pluginも利用できません。 Apache 2.4.1 のrotatelogsでは、最新のファイルに対してハードリンクを張る機能が追加されたので、とりあえず試してみました。 $ wget http://ftp.riken.jp/net/
Apacheのログをタブ区切りにするのは本当にお得か - たごもりすメモ
Apacheログのパーサを書いてて気付いたので。 どれくらい解析プログラムにやさしくなるかというと、これくらい。 Benchmark: running rx_naive, rx_optim, tsv for at least 3 CPU seconds... rx_naive: 3 wallclock secs ( 3.15 usr + 0.00 sys = 3.15 CPU) @ 2417.71/s (n=7612) rx_optim: 3 wallclock secs ( 3.78 usr + 0.00 sys = 3.78 CPU) @ 78526.94/s (n=296930) tsv: 4 wallclock secs ( 3.02 usr + 0.00 sys = 3.02 CPU) @ 646447.96/s (n=1954495) Rate rx_naive rx_opti
Apacheログに色を付けて快適tail生活 - y-kawazの日記
ツイッターで「Apacheログをtail中にステータスコード部分だけに色つけしたい」ってのを見たので作ってみた。 #!/bin/sed -f ## MEMO # [0m reset # [1m bold # [3m italic # [4m underline # [5m blink # [30m black # [31m red # [32m green # [33m yellow # [34m blue # [35m magenta # [36m cyan # [37m white s/\(HTTP\/1..\"\) \(2[0-9][0-9]\) /\1 \x1b[34m\2\x1b[0m / s/\(HTTP\/1..\"\) \(3[0-9][0-9]\) /\1 \x1b[32m\2\x1b[0m / s/\(HTTP\/1..\"\) \(4[0-9][0-9]\) /\1
HadoopによるApacheのログ解析の実際
こんにちは、ミツバチワークス stoneです。 今日は、DECOLOGで行われている、Apacheのログ解析について、 ご紹介してみようかと思います。 現在、DECOLOGでは、リバースプロキシが8台あって、 その8台の1日のApacheのログは、全部で、200Gバイト以上になっています。 これを、13台のHadoopのスレーブノードで解析を行っています。 全体の流れとしては、 1) リバースプロキシからHDFSにログを転送 2) 解析用のサーバーで、HDFSにログの転送が終わるのを監視 3) ログの転送が終わったら、Hadoopを起動、解析 4) Hadoopの解析結果をデータベースに保存 以下では、各々のステップを個別に見て行くことにしますね。 1. リバースプロキシからHDFSにログを転送 当初、Hadoopのプロセスが立ち上がっていないと、HDFSにはアクセスできない、 と思い込ん
mod_log_forensic - Apache HTTP サーバ バージョン 2.2
概要 このモジュールはクライアントリクエストの forensic ロギングを 行ないます。ログ収集はリクエストの処理の前と後に行なわれますので、 forensic ログは各リクエストに対して二行ログ収集します。 Forensic ロガーは非常に厳密です。これは以下のことを意味します: フォーマットは固定です。実行時にロギングフォーマットを変更することは できません。 データを書けない場合は子プロセスはその場で終了し、さらにコアを ダンプするかもしれません (CoreDumpDirectory ディレクティブの設定に依ります)。 Forensic ログの出力を検査するためには、 配布物の support ディレクトリにある check_forensic スクリプトが役に立つでしょう。 Forensic ログフォーマット 各リクエストは2回ログ収集されます。最初はリクエストが処理される 前 (
特集：システム管理 トラブルシューティングを目的としたApacheログ設定の調整法 | OSDN Magazine
Apache Webサーバ（以下Apache）には強力なログインフレームワークが付属しており、デフォルト設定下のApacheでは、エラーに関するすべての情報がエラーログ、アクセスに関するすべての情報がアクセスログに記録されるようになっている。こうしたデフォルトレベルのログ情報でもトラフィックパターンの解析やエラーに関する基本情報の収集には充分であろうが、トラブルシューティングとなると不充分なこともある。いずれにせよ、利用可能なすべてのログ機能を把握しておくことは、Apache上でホストするアプリケーションやWebサーバのトラブルシューティングに役立つはずだ。 FedoraにインストールしたApacheの場合、デフォルト設定下のアクセスログは/etc/httpd/logs/access_logに、エラーログは/etc/httpd/logs/error_logに保管される。このうちアクセスログ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mod_log_config - Apache HTTP サーバ
mod_log_rotate のススメ | Carpe Diem
mod_rewrite_tips.html