『robots.txt 作成から設置まで（まとめ）』ロボット排除プロトコル（以下REP）は、検索エンジンロボットのクロールやインデックスをコントロール可能な標準的仕様のことです。例えば「REPタグ（meta要素）」や「XMLサイトマップ」などがあります。 今回は、サイトレベルでクローラーに対して指示することが可能な「robots.txt」についてお話いたします。 WEBサイト運営を行っていて、いくつかのページは検索エンジンの検索対象外にしたいという場合があるかと思います。例えば、類似したコンテンツやPDF、/cgi/以下のページなどが考えられます。そのような時は、robots.txtを設置することによってクローラーをブロックすることが可能です。 robots.txtの記述ルール robots.txtは、テキストエディタで作成できます。中には以下2つを記述する必要があります。 User-Agent: 以降のルールを適用するロボット Disal
