はじめに 「robots.txt」概説は2~4 文法は5~12 注意事項は13~19 一般的な記述例は20~21 22は読まなくてもOKです 23はWordpress専用で、プラグイン「Yoast WordPress SEO」の設定をしたうえでやる推奨設定です。※カテゴリーページは第一階層までクロールさせます かなり複雑な解説なので、必要な部分を参照してください。 WordPress特化なら23だけ参照すれば良いと思います。 文法については非常に正確に書いてあります。これを理解すると、SEO専門ブログでも誤った解説が多いのがわかります。 robots.txtについて Coogleなどの検索エンジンに掲載したいものしたくないものを記述するファイルです。検索エンジンのサイト巡回ロボットを制御するので「robots.txt」と呼ばれます。 ファイルはサーバのドキュメントルートに置きます。つまり、
![決定版「検索ロボットを制限する」robots.txt記述方法 - 京都のお墨付き!](https://cdn-ak-scissors.b.st-hatena.com/image/square/d41f7a0236c208df8e9379c59b2b59eaf63d2639/height=288;version=1;width=512/https%3A%2F%2Fosumituki.com%2Fwp-content%2Fuploads%2F2014-07-15_213129.png)