決定版「検索ロボットを制限する」robots.txt記述方法 - 京都のお墨付き！

はじめに 「robots.txt」概説は２～４ 文法は５～１２ 注意事項は１３～１９ 一般的な記述例は２０～２１ ２２は読まなくてもOKです ２３はWordpress専用で、プラグイン「Yoast WordPress SEO」の設定をしたうえでやる推奨設定です。※カテゴリーページは第一階層までクロールさせます かなり複雑な解説なので、必要な部分を参照してください。 WordPress特化なら２３だけ参照すれば良いと思います。 文法については非常に正確に書いてあります。これを理解すると、SEO専門ブログでも誤った解説が多いのがわかります。 robots.txtについて Coogleなどの検索エンジンに掲載したいものしたくないものを記述するファイルです。検索エンジンのサイト巡回ロボットを制御するので「robots.txt」と呼ばれます。 ファイルはサーバのドキュメントルートに置きます。つまり、