lighttpd でスパムボットを排除する方法「mod_setenvif を使って Apache のログを軽量化」で Apache のログの軽量化の一つとして robot.txt とかを無視してすごい勢いでアクセスしてくるロボットつまりは spambot を排除する方法をお知らせしましたが、「lighttpd + FastCGI は mod_perl + Apache1.3 より１割ほど高速」で書いたように、lighttpd へ移行してからそこら辺の設定がメンドウでサボってました。 昨晩、とあるエラーが大量に出力されていたので気になって調べてみると、Ask.jp のロボットが秒間 ５ リクエストくらいの勢いでクロールしに来てました。ちなみに、下記のような UserAgent で到来します。
