3大サーチエンジン企業の、Google、Yahoo!、Microsoft(MSN Live Search)は、robots.txtとmeta robotsタグの取り扱いについて、共通の仕様を取りまとめました。 Robots Exclusion Protocol (REP)と言います。 ※日本語訳は「ロボット排除プロトコル」 各サーチエンジンのブログでアナウンスされています。 Official Google Webmaser Central Blog Improving on Robots Exclusion Protocol Yahoo! Search Blog One Standard Fits All: Robots Exclusion Protocol for Yahoo!, Google and Microsoft Live Search Webmaster Center Blog
![グーグル・ヤフー・マイクロソフト、robots.txtとmeta robotsタグの共通仕様をサポート � 海外SEO情報ブログ・メルマガ](https://cdn-ak-scissors.b.st-hatena.com/image/square/f00f4804fe59acd36d8e9d02e50d10db7dc9a119/height=288;version=1;width=512/https%3A%2F%2Fwww.suzukikenichi.com%2Fblog%2Fwp-content%2Fuploads%2Fsplash_1200_675.png)