[対象: 初〜中級] robots.txtの動きと注意点についてGoogleのJohn Mueller(ジョン・ミューラー)氏が英語版のウェブマスター向けヘルプフォーラムでコメントしています。 ぜひ知っておきたい情報なので共有します。 もともとの投稿は次のような質問でした。 とても多くのURLをrobots.txtでブロックしていた。 ある時点でrobots.txtのブロックを解除した。 ところがブロックされたURLの数が依然として増え続けている。 何が原因なのか? ミューラー氏の回答とそれに付随するrobots.txtに関する注意点は次のとおりです。 知っておきたいrobots.txtの動きと使い方 ブロックされたURLのウェブマスターツールでのカウントが実際の状況を反映するまでには時間がかかることがある。 インデックスステータスがレポートする数はその時点での累積である。 ※鈴木補足: