robots.txtとは？ - インフォセンター - Yahoo!検索

更新日 2010年11月24日 robots.txtは、検索エンジンに対する要求を伝えるファイルです。サイト管理者はrobots.txtをとおして、次の情報を伝えることができます。 クローラーに巡回してほしくないウェブページやディレクトリ サイトマップの位置 クローラーはrobots.txtの記述に従ってサイト内のウェブページを巡回します。クローラーによる巡回の際は、まずサイトのルートディレクトリ（サイトの一番上の階層）にあるrobots.txtを探します。robots.txtが設置されていなかった場合には、そのサイトに対する巡回制限はないものとみなしてサイト内のウェブページを巡回し、robots.txtが設置されていた場合には、その内容に従って巡回します。 robots.txtの記述や設置の方法は、次のページを参照してください 「サイト単位、ディレクトリ単位での巡回の拒否設定 1」 「サ