Googleサイトマップ、「robots.txt」ファイル分析を追加 Google Sitemap、キャッシュに保存されたrobots.txtファイルの分析結果を表示する機能を追加。robots.txtが適切に処理されているかを確認可能に。 公開日時:2006年02月07日 12:50 XMLを使ってGoogleデータベースにサイトをまとめて登録できるGoogle Sitemap(グーグル・サイトマップ)の新機能として、robots.txt分析が追加された。 robots.txtは、サイト内におけるクローラ(ウェブページを収集するロボット)の動作を制御するためのファイル。Googleの検索インデックスに登録したくないフォルダやファイルがある場合に文法に従って記述する。 robots.txtファイル分析は、サーバに設置されたrobots.txtをGooglebotが取り扱った処理結果を表示す