Apacheのレスポンス分析に必要なスクリプトまとめ - ブログなんだよもん
最近、Apacheのログ解析をすることが多いので、備忘録を兼ねてまとめ。 とりあえず、超便利コマンドはawk, sed, grep, uniq, sortあたり。コレを駆使して色々解析する。そして、これを駆使して解析がツライ時は素直にperlやruby, pythonに処理を渡すべきかなぁ。awkが結構なんでもできるので、awkだけでも基本的にはいいけれど。 あと、リアルタイム解析じゃなくて前日のログ解析だから基本はzgrepやzcatから始まります。 で、ポイントは可能な限りzgrepを使うこと。zcatは一度全部展開するので、トロいし、負荷もでかいです。 apacheのログフォーマットが違うと当然そのまま適用できないので、その辺は適当に変更する感じで。 やっぱ、CSV解析はこの辺がネックですね。全部JSONになれば良いのに... 平均レスポンスタイム アクセスログの末尾がレスポンスタイ
apacheのログをローテーションする【logrotate】の設定｜プログラムメモ
apacheのログ「access_log」「error_log」はほっておくとどんどん容量が増えて無駄にディスクを消費する上にapacheのパフォーマンスが落ちます。 ログをローテーションするには「logrotate」を使用します。 ・まず共通の設定を行います。 vi /etc/logrotate.conf weekly rotate 4 errors root create include /etc/logrotate.d ● logrotateのオプション weekly：週単位でローテーション（daily：日単位 monthly：月単位） rotate 4：最大4つ前までのファイルを残す errors root：エラーがあれば rootまでメールする create [パーミッション] [グループ名] [ユーザ名]：ローテーション後すぐに同名のログファイルを作成する。 compress：
15分で理解するApacheのログローテート | 俺の技術メモ
Apacheのaccess_logはすぐ大きくなりますよね。 ログファイルのサイズが大きくなれば、ログ解析のときにも困るし、運用に支障が出ます。 というわけで、今回はApacheのaccess_logのログローテートテクニックについて、具体例を交えながら解説してみようと思います。 ローテートの方法として以下３つの手法を考えてみます。 cronとシェルスクリプトの合わせ技で頑張る Apacheのに搭載されている機能を使う logrotate.dに頼る 具体的な手順・解説は以下のとおり。 その１：cronとシェルスクリプトの合わせ技 以下のようなスクリプトを作成し、cronに仕込んでみます。 #!/bin/sh HIDUKE='date +%y%m%d' cd /usr/local/apache2/logs mv access_log access_log.$HIDUKE ../bin/apa
はじめての自宅サーバ構築 - Fedora/CentOS - Webページアクセスログ解析(AWStats)
■ awstatsとは・・・ AWStatsはグラフィカルなWebサーバ(apache)へのアクセスログ解析ツールです。 導入することにより、日別・時間別・アクセス先など様々な情報をHTMLで見ることが出来ます。 ■ 事前準備 ブラウザからCGIを起動する為、『Webサーバの構築(Apache)[CGIの動作確認を行なう。]』が完了し、動作している事を確認しておきます。 awstatsの集計には、apacheが出力するaccess_logの形式が『combined』でなければなりません。 apacheの出力ログの確認 # vi /etc/httpd/conf/httpd.conf # # The following directives define some format nicknames for use with # a CustomLog directive (see below)
Apacheアクセスログ解析(AWStats) - CentOSで自宅サーバー構築
AWStatsを利用してApacheのアクセスログを解析し、Webサイトへのアクセス統計をWebブラウザから参照できるようにする。⇒当サイトのサンプル CentOS7はこちら EPELリポジトリ導入(EPEL)を参照してEPELリポジトリを導入する [root@centos ~]# yum -y install awstats ← AWStatsインストール [root@centos ~]# vi `rpm -ql awstats|grep "awstats\.pl"` ← awstats.pl編集 ※レポートの日付形式を「月 2月 2010」から「2010年 2月」へ変更 if ( $MonthRequired eq 'all' ) { print "$Message[6] $YearRequired"; } else { print #"$Message[5] $MonthNumLib
Apache Webサーバのアクセスログから日別、ホスト名・IPアドレス毎にアクセス数を集計するシェルスクリプト(バッチ処理プログラム) ～JavaScriptが動作しないクローラー、コマンドでのアクセスにも対応したログファイルを用いた集計方法～ | Magtranetwork マグトラネットワーク
Webサーバを運用する上でどのようなIPからどのようなアクセスがあるかを知っておくことは重要な事です。 最近ではGoogleアナリティクスなど高性能なツールでウェブブラウザからのアクセス分析をすることが可能になりましたが、ホスト名・IP毎に詳細に見ていく場合はやはりWebサーバのアクセスログを直接集計することが必要です。 特にJavaScriptが動作しないクローラーやCurl、WgetなどのコマンドでのアクセスはWebサーバのアクセスログを直接参照する必要があります。 今回はクローラーやコマンドなどのウェブブラウザ以外からのアクセスも含んだWebサーバのアクセスログから日別、ホスト名・IPアドレス毎にアクセス数を集計するシェルスクリプト(バッチ処理プログラム)を備忘録として記載します。
エラーログで障害原因を突き止めろ！
エラーログに対応する～OOM Killer編 続いて、/var/log/messagesに図2-1のようなログが記録された場合の対応を考えてみましょう。このログはOOM（out of memory） Killerによりhttpdプロセスが強制終了されたことを示すログです。 OOM Killerとは、システムがメモリ枯渇すると、稼働中のプロセスを強制終了させて空きメモリを確保するLinuxカーネルの仕組みで、メモリ枯渇によるシステム停止を防止するために用意されています。 このログが記録された場合、まず必要になるのはプロセスの存在確認です。OOM Killerは比較的重要なプロセスも容赦なく強制終了させてしまいますので、必要なプロセスが存在しているかを確認する必要があります。 図2-1のログではhttpdが終了させられているので、以下のコマンドを実行しhttpdプロセスの存在を確認します。 $
たった6個のsedを通せば、Apacheログは驚くほど扱いやすくなる - Qiita
Q. awk '{print $9}'とかでUser-Agent丸ごと取り出したい とか思ったことない? Apacheのログ解析で。でもできないじゃない。例えば 192.168.0.1 - - [17/Apr/2014:11:22:33 +0900] "GET /index.html HTTP/1.1" 200 43206 "https://www.google.co.jp/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36"
ELBを使ってアクセス元のIPを取る方法 | Basicinc Enjoy Hacking!
AWSを使うことで今までやりにくかったインフラの設定が簡単に試せるようになりました。 そんなAWSのサービスの中にELBという負荷分散装置、いわゆるロードバランサーがあります。 1回だけ実機のロードバランサーを見たことがあるのですが、そいつはちょっといい車が買えるぐらい値段のやつでした。 機能的には結構かなり高機能なものだったので、おそらくロードバランサーの部類でもかなり高いと思うのですが 安価なものでも、そうそう手が出せるものではありません。それに設定も面倒。（多分） それがELBを使うことでGUIでポチポチするだけで、簡単に設定することができちゃいます。 しかもアクセス数に応じて勝手にスケールするというおまけ付き。 なんてすごいんでしょうAWS。 転送料で料金が決まるというのも、初回のコストをおさえられるので大変たすかります。 ELBを使うとアクセス元IPアドレスがわからない？ ELB
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
Apacheの負荷の状況を監視できる、apachetop - UNIX的なアレ
Unix/Linux系OSの場合で、負荷監視のツールといえばtopが有名ですが、apacheの詳細までは監視することができません。 とくに、ある程度のアクセス数のあるWebサイトを運用したことのある方ならわかると思いますが、攻撃と思われるような負荷に出くわすことはあると思います。 そんなときに、簡単にapacheの状況を調べることができるのがapachetopです。 どんなときに使う？ apachetopということで、使用するのはWebServerです。アクセスが多くでサーバーが高負荷になっているなーとある程度自分なりに判断できたときに使います。 Debian/Ubuntuであればインストールは簡単。 # sudo apt-get update # sudo apt-get install apachetop 簡単に使ってみよう 使用方法も簡単です。 apachetopはapacheのアク
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mod_log_config - Apache HTTP サーバ