mod_log_rotate がよさげかも - （ひ）メモ
mod_log_rotate のススメ で紹介されていた mod_log_rotate がよさげです。 http://www.hexten.net/wiki/index.php/Mod-log-rotate ドキュメントには書いてない(と思う)んですが、CustomLogのファイル名にstrftimeの書式指定が使えるようになります。 ついでに、rotatelogs より cronolog の方がフットプリントが小さそうなので、ErrorLogはcronologを使うようにしてみました。 before ErrorLog "|/usr/local/bin/rotatelogs /var/log/httpd/irori.org/www.err.%Y-%m-%d 86400 +540" CustomLog "|/usr/local/bin/rotatelogs /var/log/httpd/ir
ファイル記述子の限界 - Apache HTTP サーバ バージョン 2.2
Please note This document refers to the 2.2 version of Apache httpd, which is no longer maintained. The active release is documented here. If you have not already upgraded, please follow this link for more information. You may follow this link to go to the current version of this document. たくさんのバーチャルホストを運用する場合、もし、 各バーチャルホストごとに異なるログファイルが指定してあると、 Apache がファイル記述子 (ファイルハンドルとも呼ばれます) を使い切ってしまうことがあります。Ap
Apacheログの特定ファイル対象外設定 [ぽんこつWEBサーバー構築]
Apacheのログ設定をデフォルトのまま動かしていると、 アクセスログの容量が膨大になってしまいます。 ここでは、画像ファイル（".jpg",".gif",".png"）やCGI（".cgi"）、 スタイルシート(".css")等のアクセスログや "自宅サーバーWebRing"の監視ログ(OPTION **)など、 アクセスログを取得してもあまり意味のないファイルを 拡張子やファイル名に応じてログ取得の対象外とする方法を紹介します。 Apacheログの対象外設定をするには"httpd.conf"ファイルをいじります。 "SetEnvIf"を使うことにより、 要求されたURI(Request_URI)やリモートホスト名(Remote_Host)の定義(nolog)を作成し、 その定義(nolog)に合致しない場合のみアクセスログを取得するように設定します。 デフォルト設定やVirtualHo
Analog によるアクセスログ解析
このページで紹介しているツールは現在はメンテナンスされていません。代替ツールの利用に当たっては注意してください。 独自サーバを立て WWW サーバを運用してる方は、アクセスログも採っていると思います。アクセスログはテキスト形式ですので、ビューアで見ても良いのですが、統計処理を手作業で行なうのは大変です。Analog というツールは、アクセスログの解析と統計処理を、高速に行なってくれます。以下、Redhat Linux 7.x (Apache 1.3.x) 用で Analog を導入した際の方法を簡単に書いておきます。 インストール >Analog の公式サイト (現在はリンク切れ)より RPM パッケージをダウンロードします。筆者が試したのは、バージョン5.3.1 の Intel 版です。 # wget http://www.iddl.vt.edu/~jackie/analog/analo
徒然なるままにBlog - Apacheチューニング: ロギングを高速化する
あまり知られていません(と思われる)がApache2(2.0.41以降)にはアクセスログの書き出しをメモリにバッファリングし高速化させるという機能があります。 今回はその機能を有効にするとどれぐらい速くなるのか調べてみました。 設定方法はhttpd.confに BufferedLogs On と追加するだけでログのバッファリングが有効になります。 以下ベンチマークを取った結果です。 バッファリング無効984 Request/Sec バッファリング有効1033 Request/Sec (参考)ロギング無し1055 Request/Sec ※小さなhtmlファイルに対してab -c 100 -n 1000を何度か繰り返した結果の平均です。 体感では違いを感じられないとは思いますがベンチを取るとおよそ5%程Request per secondの値が上がっていました。 静的なファイルが
Spread Toolkit で分散ログ (1) - 酒日記 はてな支店
以前 LVS + Ultra Monkey で負荷分散 (設定編) - 酒日記 はてな支店 で書いたように、Apache を LVS で負荷分散したのですが、この際にアクセスログを一つに (時系列を保って) まとめるにはどうすればいいか、ちょっと悩みました。 結局 Apache からパイプ経由で logger コマンドを起動して syslogd でログ取得ホストに飛ばす、ということをしたのですが、いくつか問題が。 ログの先頭に syslogd の日付 (Jan 24 18:33:30 www1 logger: ) が付く → 集計の邪魔 syslog は 1メッセージ 1024 byte までしか記録できないので、尻切れになる行が (稀にだけど) 発生する Linux の syslogd は書き込みの際に頻繁に sync するので、DISK IO が大量に発生して重い 特に最後のは、秒間数
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
AWStatsドキュメント - そのほかのツールの利用
そのほかのツールの利用 以下にAWStatsに同梱されて提供されているツールを示します. 全てのツールはAWStatsの配布ファイルの中のtoolsディレクトリ内に格納されています. awstats_buildstaticpages awstats_buildstaticpagesは, -outputオプションの利用が許されているAWStatsの全てのページを, -staticlinksオプションで作成します. 利用方法: awstats_buildstaticpages.pl (awstats_options) [awstatsbuildstaticpages_options] awstats_optionsはAWStatsで利用できる全てのオプションを意味します. -config=configvalueは, -configで指定できるパラメーターを指定します(必須) . -update
cronolog でログファイルの分割 | 自宅サーバー Fedora
Apache のログファイルはデフォルトの設定のままで運用した場合、巨大化し放っておくとディスクの空き容量が少なくなります。 cronolog を使うと Apache のログファイルを月別や日別というふうに切り出しを行うことができ、ログファイルの管理を容易にすることができます。 cronolog.org から cronolog のソースファイルをダウンロードしてインストールする方法を紹介します。 cronolog のダウンロードとインストール cronolog のソースファイルを cronolog.org からダウンロードしてコンパイル、インストールを行います。 # wget -P /usr/local/src http://cronolog.org/download/cronolog-1.6.2.tar.gz # mkdir /usr/local/cronolog-1.6.2 # cd
Googleの検索語によるタグクラウド「Google Search Cloud」
Apacheのアクセスログから、自サイトへ到達した訪問者がGoogleなどで使った検索フレーズを、Perlを使ってタグクラウド風に表示するというもの。 自分のサイトがどのような検索語でよく訪問されているかがビジュアル的にわかりやすくなるのでなかなかおもしろい。 設置方法の詳細などは以下の通り。 Google Search Cloud 上記ページに書いてある1つめのコードを「gscloud.pl」として保存し、2つめのコードを「gscloud.css」として保存。最後に「Examples of usage」に空いてあるようなコマンドを定期的に実行するようにすれば、アクセスログを解析してタグクラウドの書かれたHTMLファイルを吐き出してくれるという仕組みらしい。割とシンプルなので、いろいろと応用ができそうな予感。
Apache のカスタムログ設定 - Linux で自宅サーバ [ Home Server Technical. ]
Apache のログを見てみると思うことなのですが、ログファイル自体がかなり膨大になります。 その中には、画像ファイルへのリクエストまでの記録されています。 そして、自分のデバッグの際のアクセスも記録されます。 これらのアクセスの記録はあまり重要ではありませんので、ログ採取を行わない様に設定します。 （もちろん、サイトによっては重要な情報です。） 採取するログを限定する事で、ログの内容を解析しやすくなります。 そして、ごく微量だとは思いますが、Apache のパフォーマンスも向上するかもしれません。 ページ内コンテンツ一覧 画像ファイルへのアクセスを記録しない 特定のホストからのアクセスを記録しない Worm のアクセスを別ファイルに記録する - 2003/09/12 修正 画像ファイルへのアクセスを記録しない Apache のログには画像ファイルへのリクエストも記録されます。 サイトによ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mod_log_config - Apache HTTP サーバ
cronolog で Apache ログをロギング時にファイル分割