WordPressの場合、ダッシュボードの「プライバシー設定」にあわせて自動でrobots.txtを生成してくれます(自分で robots.txt を設置した場合はそちらが優先されます)。 細かな設定を行いたい場合は自分で robots.txt を作成した方が早いかも知れませんが、当該部分にフィルターが用意されているので、プラグインやテーマでカスタマイズすることも可能です。 2016.6.28 いい加減ver4.5にもなったので改稿しました。 自動生成の robots.txt ダッシュボードの設定によって生成される robots.txt の中身が異なります。 「検索エンジンによるサイトのインデックスを許可する」にしていた場合 Disallow: {WordPressの設置ディレクトリ}/wp-admin/ Allow: {WordPressの設置ディレクトリ}/wp-admin/admin
![WordPressで自動生成されるrobots.txt | Gatespace's Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/02a6614a1275e716d78590e5f6a4deb563b25073/height=288;version=1;width=512/https%3A%2F%2Fcdn.getshifter.co%2F37ada41fe8921b2aae018ce938ad5dd9373e46c3%2Fuploads%2F2019%2F09%2Fogp.png)