Google，MS，Yahoo!がロボット排除プロトコル実装に関するドキュメントを公開米Google，米Microsoft，米Yahoo!はロボット排除プロトコル「Robots Exclusion Protocol（REP）」の実装手法について，より詳しいドキュメントを，米国時間2008年6月3日にそれぞれの公式ブログ上で公開した。Webサイト運用者に共通のインプリメンテーションを提供し，より多くのパブリッシャにREPを理解してもらいたいとしている。 REPは，検索エンジンによるクローリングやインデックス化などを制御するための手続きを定めたもの。パブリッシャは，自身のサイト内の各ページについて，タグなどを埋め込むことによって検索結果に載らないように設定することができる。 Google製品マネージャのPrashanth Koppula氏によると，ほとんどの検索エンジンがREPを認識しているが，さまざまなタグに対する各社の解釈の仕方については共有していないという。 今回，Goo
