robots.txtを変更した後にすること robots.txtを設定すると、特定のURLに対してクロールを禁止にしたり、許可したりできます。 robots.txtを変更後は 「果たして、このやり方であっているんだろうか?」 と心配になると思います。 そういうときは、「robots.txt テスター」を使うと動作確認が行えます。 「robots.txt テスター」はGoogle Search Consoleの付属機能です。 Google Search Consoleへ未登録の人は、先に登録しておきましょう。
![Google Search Console、「robots.txt テスター」の使い方](https://cdn-ak-scissors.b.st-hatena.com/image/square/4ebd7d000f61e15f81e3be47c91af3753a052e63/height=288;version=1;width=512/https%3A%2F%2Fi0.wp.com%2Fu-ff.com%2Fwp-content%2Fuploads%2F2020%2F04%2Fd5e7057356ed381a3ac07d28b8dd9079.jpg%3Ffit%3D696%252C694%26ssl%3D1)