WordPressの場合、ダッシュボードの「プライバシー設定」にあわせて自動でrobots.txtを生成してくれます(自分で robots.txt を設置した場合はそちらが優先されます)。 細かな設定を行いたい場合は自分で robots.txt を作成した方が早いかも知れませんが、当該部分にフィルターが用意されているので、プラグインやテーマでカスタマイズすることも可能です。 2016.6.28 いい加減ver4.5にもなったので改稿しました。 自動生成の robots.txt ダッシュボードの設定によって生成される robots.txt の中身が異なります。 「検索エンジンによるサイトのインデックスを許可する」にしていた場合 Disallow: {WordPressの設置ディレクトリ}/wp-admin/ Allow: {WordPressの設置ディレクトリ}/wp-admin/admin