Googleウェブマスターツールでクロール頻度を細かく設定可能に - F.Ko-Jiの「一秒後は未来」

Google Updates Webmaster Tools & Crawl Rate Controlsの情報によると、Google ウェブマスター ツールで設定できる「クロール頻度」がスクロールバーで設定できるようになったとのことです。 実際にログインしてみると、確かに「カスタム クロール頻度を設定」という項目が追加されています。 ↑ このブログの場合は33.333秒に1回クロールされている。 このように、デフォルトの設定を確認することで、現在クローラーがどの程度の間隔でサイトにアクセスしているかを知ることもできます。 重いサイトやページ数の少ないサイトの場合、クロール頻度はかなり少なくなっているのがわかります。 ↑ feed.fkoji.com の場合は125秒に1回。 クロール頻度が下がると検索結果の即時性に影響が出るだけでなく、クロール対象のページ数も制限されるそうなので、サーバに