[レベル: 上級] robots.txt の仕様を標準化する取り組みに Google は着手しました。 背景 背景を完結に説明します。 検索エンジンのクローラ――Google で言えば Googlebot――のクロールを制御するために robots.txt を利用できます。 robots.txt の仕様を Robots Exclusion Protocol (REP) と呼びます。 REP はもともと Martijn Koster(マーティン・カスター)氏によって 1994 年に考案された仕組みです。 クローラがクロールするときに、過度な負荷をサーバーにかけることを防ぐことが目的でした。 ちなみに、Koster 氏自身がウェブサイトを管理するウェブマスターでした。 仕様の公開以来 25 年、REP は幅広く使われるようになり事実上の標準になりました。 現在、5 億のサイトが使用しているとの
![Google主導のもと、Robots Exclusion Protocol (REP) がインターネット標準に](https://cdn-ak-scissors.b.st-hatena.com/image/square/f00f4804fe59acd36d8e9d02e50d10db7dc9a119/height=288;version=1;width=512/https%3A%2F%2Fwww.suzukikenichi.com%2Fblog%2Fwp-content%2Fuploads%2Fsplash_1200_675.png)