tips - クローラーのアクセスを「まとめる」 : 404 Blog Not Found

2007年05月02日12:30 カテゴリTips tips - クローラーのアクセスを「まとめる」 これ、503返す前にもう一度アクセスログを見た方がいいと思う。 [を] Perl、PHPでGooglebotを一定の確率ではじく 「Googleのクローラ(Googlebot)のアクセス数が多すぎてサーバに 負荷がかかりすぎる問題」に悩まされています。たとえば、/foo.cgiへのアクセスが多いとする。この場合、単に/foo.cgiではなく、/foo.cgi?query=fooや/foo.cgi?query=barにbotたちは来ていないだろうか。それが結果としてアクセスを増やしていないだろうか。 この場合なら、対処はむしろ503を返すのではなく、CGIのEntry Pointへの301を返すことなのではないか。こんな感じで。 my $q = CGI->new(); # ... if (

[clayfish]

google などの bot のアクセスが大きくなった際の対処法として

[yto]

それぞれのURL（パラメタ付きURL）が意味を持っているサイトなのでまとめちゃうとダメなのです…。例えばWikipediaにボット来て重いからといってトップに飛ばしたら個別記事が検索されなくなりますよね。 by 元記事主

[kazuhooku]

同じ意味をもつ URI をまとめるならいいけど、ここにあがっている例はよくないと思う