SitemapのAuto-Discovery : robots.txtを使ってクローラーにサイトマップを見つけてもらう方法 - F.Ko-Jiの「一秒後は未来」Top/SEO/SitemapのAuto-Discovery : robots.txtを使ってクローラーにサイトマップを見つけてもらう方法 「Search Engines Unite On Sitemaps Autodiscovery」によると、Google、Yahoo!、Microsoft、Askの各社の検索エンジンのクローラーがsitemapのオートディスカバリ(自動検知)に対応したそうです。 これにより、robots.txtにsitemapの情報を記述することで、クローラーにサイトマップの存在を知らせることができるようになります。 sitemapのオートディスカバリは、robots.txtに次の1行を追加するだけです。 Sitemap: http://blog.fkoji.com/sitemap.xml サイトマップが複数ある場合は、サイトマップのインデックスを掲載したページを作成し
