1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
Apacheのレスポンス分析に必要なスクリプトまとめ - ブログなんだよもん
最近、Apacheのログ解析をすることが多いので、備忘録を兼ねてまとめ。 とりあえず、超便利コマンドはawk, sed, grep, uniq, sortあたり。コレを駆使して色々解析する。そして、これを駆使して解析がツライ時は素直にperlやruby, pythonに処理を渡すべきかなぁ。awkが結構なんでもできるので、awkだけでも基本的にはいいけれど。 あと、リアルタイム解析じゃなくて前日のログ解析だから基本はzgrepやzcatから始まります。 で、ポイントは可能な限りzgrepを使うこと。zcatは一度全部展開するので、トロいし、負荷もでかいです。 apacheのログフォーマットが違うと当然そのまま適用できないので、その辺は適当に変更する感じで。 やっぱ、CSV解析はこの辺がネックですね。全部JSONになれば良いのに... 平均レスポンスタイム アクセスログの末尾がレスポンスタイ
Apache module mod_rewrite
URL を操作するためのスイス製のアーミーナイフ、mod_rewrite へようこそ! このモジュールは、(正規表現パーサに基づく) ルールベースの書き換えエンジンを使い、要求された URL を適宜書き換えます。サポートするルールの数、 および各ルールを適用する際のルール条件の数に制限はなく、 本当に柔軟でかつ強力な URL 操作メカニズムを提供します。この URL 操作に先立ち、次のようにいろいろな評価を行うことができます。 例えばサーバ変数、環境変数、HTTP ヘッダ、タイムスタンプ、 さらに外部データベースの検索結果までを評価の対象として、 各種のフォーマットを使った細粒度の URL マッチングを実現できます。 このモジュールは、サーバ単位のコンテキスト (httpd.conf) およびディレクトリ単位のコンテキスト (.htaccess) において (PATH-INFO 部分を含む
Apache killerは危険～Apache killerを評価する上での注意～
Apacheの脆弱性(CVE-2011-3192)いわゆるApache killerが話題になっていますが、その脅威については一部誤解があるようです。 以下は、非常に脅威とする報告の例です。 一方今回のはプロセスの肥大化を伴うので、実メモリ消費して更にスワップも使い尽くしてOS毎激重になったあげくLinuxとかの場合はOOM Killer発動と、他のプロセスや場合によってはOSを巻き込んで逝ってしまいます。 CVE-2011-3192 Range header DoS vulnerability Apache HTTPD 1.3/2.xより引用 以下は、それほど脅威でなかったとする報告の例です。 pooh.gr.jp は結構頑丈だったので 60 並列でやっと CPU idle 30% まで減らせた。 Apache Killer (CVE-2011-3192) 対策 for CentOS 5
法と技術とクローラと私 - 最速転職研究会
こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識
安全な RedHat Apache サーバの構築方法
Richard Sigle, Richard.sigle@equifax.com0.1, 2001-02-06 KURASHIKI Satoru ( ouka@fx.sakura.ne.jp)0.1J, 2002-02-22 このガイドは、PKI と SSL を一緒に動かす方法を説明するように 意図されています。安全なサーバを構築するためには、SSL プロトコルがどう機能して いるかを理解する必要があります。 1. このガイドの目的/範囲 1.1 Secure Sockets Layer (SSL) について 1.2 フィードバック 1.3 著作権と商標 1.4 謝辞 2. Secure Sockets Layer/Private Key Infrastructure への招待 2.1 SSL/PKI の信頼性 2.2 SSL はどう機能するのか 2.3 PKI の仕組み 2.4 証明書(
VirtualHost設定
VirtualHostの設定 ■ VirtualHostとは apacheでは、「VirtualHost」を設定することで、アドレスによって設定を分けることができます。たとえば hoge.com、fuga.org、guho.jpはすべて同じサーバを指している http://hoge.com/ /home/hoge/public_htmlを表示 http://fuga.org/ /home/fuga/public_htmlを表示 http://guho.jp /usr/local/wwwを表示 というように、アクセスに使われたサーバ名によって表示する内容(をはじめとする設定全般)を使い分けることができます。 こうすると、あたかも別々のサーバで動いているかのように見せることができます。 ■ 設定 次の設定を、httpd.confに書き加えます。 WebサーバのIPが192.168.1.1である
Apacheのアクセス制御をちゃんと理解する。 - こせきの技術日記
Apacheの設定で Order deny,allowとか Satisfy anyとか、なんだか意味わからん人のために。僕はずっとわかってなかった。 基本 Apacheのアクセス制御には、 ホストによる制御 (Order,Allow,Deny) ユーザ認証による制御 (Auth*, Require) の2通りがある。 Satisfyは、2通りあるアクセス制御の両方を満たす必要があるかどうかを決定する。デフォルトはSatisfy all。Satisfy anyなら、どちらか片方満たせばよい。 Order http://httpd.apache.org/docs/2.2/mod/mod_authz_host.html#order Order deny,allowは、全てのホストからのアクセスを許可する。 Order allow,denyは、全てのホストからのアクセスを拒否する。 Order d
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ModSecurity (mod_security) - Open Source Web Application Firewall
http://linuxjf.osdn.jp/JFdocs/SSL-RedHat-HOWTO.txt
IBM Developer