大手サイトの robots.txt と sitemap をのぞいてみた。 - フジイユウジ::ドットネット仕事でとあるサイトの新規構築をしていて、サイトマップインデックスファイルを作ろうと思ったのですが、これ robots.txt に普通の sitemap として記述していいのかどうかわからなかったんですよ。 検索とかしてみたのですが日本語の情報がなく。 あ、念のために解説しておくと、検索エンジンのクローラー(ロボット)にサイト構造を伝えるXMLサイトマップっていうのがありまして。 ページ数が多いサイトなんかは、サイトマップインデックスファイルっていうXMLサイトマップの目次みたいなのを作るんですわ。 目次の目次って何だよって感じですが、まあ、ページ数が多いんだから仕方ないんですわ。 Googleの ウェブマスター向けヘルプとか読んでも「 robots.txt には複数のsitemapを記述できるよ」みたいなことだけ書いてある。それをまとめてサイトマップインデックスファイルにした場合はクロール
