[レベル: 上級] robots.txt の noindex 構文のサポートを終了することを Google は告知しました。 REP のインターネット標準化にともなう決定です。 機能していたが未サポートだった robots.txt の noindex クローラのクロールを拒否するために robots.txt では Disallow 構文を用います。 User-agent: * Disallow: /dontcrawl.html Google では、クロールではなくインデックスを拒否するために Noindex 構文が使えていました。 User-agent: Googlebot Noindex: /dontindex.html HTML の head セクションで使える noindex robots meta タグと同じ働きをします。 しかし、robots.txt での noindex を G
![robots.txtでのnoindexをGoogleが完全にサポート終了、2019年9月1日から](https://cdn-ak-scissors.b.st-hatena.com/image/square/f00f4804fe59acd36d8e9d02e50d10db7dc9a119/height=288;version=1;width=512/https%3A%2F%2Fwww.suzukikenichi.com%2Fblog%2Fwp-content%2Fuploads%2Fsplash_1200_675.png)