Googlebotのアクセス頻度を調整するGooglebotのアクセス頻度を調整する 2007-03-21-1 [SEO] ここ数週間、Google のクローラ Googlebot が私の管理する CGI ベースのサイトに、これまでにないペースでじゃんじゃんアクセス来るので負荷が心配になった（その割りに検索で上位にならないのはガッカリ）。 で、robot.txt にこんな記述を足した。 User-agent: Googlebot Crawl-delay: 10 昨晩設定して、今朝起きてログを見てみると、効果なし。 ネットで調べたら、Googlebot は Crawl-delay を無視する、という話がいろいろあったしなあ。 もうちょっと待つとなんとかなるのかも知れないけど、ほっとけないので次の手段。「Googleウェブマスターツール」(http://www.google.com/webmasters/tools/) [2006-1
