グーグル ウェブマスターツールにrobots.txt作成機能が追加Google ウェブマスターツールにrobots.txtを作成する機能が追加されました。 Google Webmaster Central Blogでも公式にアナウンスされています。 robot.txtとは、検索エンジンのロボット、いわゆるスパイダーもしくはクローラーと呼ばれるプログラムのアクセスを、サイト単位・ディレクトリ単位・ファイル単位で、拒否（許可）するためのテキストファイルです。 ※スパイダーとクローラは、厳密には異なるプログラムのようです。 ●検索エンジンの５つのプログラム – スパイダーとクローラって別物？ ●スパイダーとクローラが別物なわけ アクセスをブロックする必要がなければ、robots.txtは特に必要ありません。 ウェブマスターツールでは、「すべてのロボットを許可」という指定でrobots.txtを作成できますが、すべてのロボットを許可（Allow）するなら、不要で
