tips - クローラーのアクセスを「まとめる」 : 404 Blog Not Found2007年05月02日12:30 カテゴリTips tips - クローラーのアクセスを「まとめる」 これ、503返す前にもう一度アクセスログを見た方がいいと思う。 [を] Perl、PHPでGooglebotを一定の確率ではじく 「Googleのクローラ(Googlebot)のアクセス数が多すぎてサーバに 負荷がかかりすぎる問題」に悩まされています。たとえば、/foo.cgiへのアクセスが多いとする。この場合、単に/foo.cgiではなく、/foo.cgi?query=fooや/foo.cgi?query=barにbotたちは来ていないだろうか。それが結果としてアクセスを増やしていないだろうか。 この場合なら、対処はむしろ503を返すのではなく、CGIのEntry Pointへの301を返すことなのではないか。こんな感じで。 my $q = CGI->new(); # ... if (
