robots.txtの更新は1日1回 ＋ noindex / nofollow / noarchive / nosnippet / noydir / noodp タグのおさらい検索エンジンのロボットによるクロールをブロックするrobots.txtについてGoogleのJohn Mueller氏がTwitterとGoogle BuzzでTIPSを公開しています。 Robots-tip: crawlers cache your robots.txt; update it at least a day before adding content that is disallowed. Q&A in Buzz. If you add a new subdirectory on your site and simultaneously add a disallow for it in your robots.txt file, it’s possible that crawlers will not see the disallow before they crawl t
