robots.txtがないとグーグルのインデックスから消えるかも検索エンジンのロボットのアクセスを制御して、特定のページをインデックスさせないようにする手段の一つとして、robots.txtを用いる方法があります。 通常、特にロボットからブロックしたいコンテンツがないときは、robots.txtは不要です。 robots.txtが存在しなければ、すべてのファイルにアクセスしてインデックス（しようと）します。 ところが、robots.txtが存在しないと、Goolgebotにクローリングされず、「サイト全体」がGoogleのインデックスから消えてしまうことがあるという恐ろしい事実がGoogle Groupsのスレッドで、明らかになりました。 ウェブページを閲覧するときは、Internet ExplorerやFirefoxのようなブラウザと、ApacheやIISというウェブサーバーの間でHTTPと規格に従った通信が行われます。 HTTP通信の状態として、H
