Robots.txtとはRobots.txtとは 検索エンジンは、robots（またはspider）と呼ばれるプログラムが自動的にインター ネットのサイトにアクセスし、ページの情報をクローリングするものです。サイトに robots.txtというテキストファイルを作成し、このファイルに検索エンジンにクロー リングされたくないサイトの部分を明記すると、検索エンジンは該当部分の内容を クローリングしないようにします。また、robots.txtのCrawl-delayフィールドにより、 Baiduspiderのクローリングの頻度を制限する事が可能です。 robots.txtの置き場所 Robots.txtはサイトのルートディレクトリーに置きましょう。 例：robotsはサイト（例えばhttp://www.abc.com）にアクセスした際、まずサイトに、 http://www.abc.com/robots.txtというファ
