robots.txt は、検索エンジンなどのクロールをこちらから制御するファイルです。 実のところ、個人運営の WordPress ブログで robots.txt を設定・作成する必要はありません。必要になるとしたら、以下の 2 パターンぐらいですね。 検索 bot 以外の特定のクローラーをブロックしたい クロールしてほしくないファイルがある 間違えて設定すると SEO に重大な悪影響を及ぼすので、十分にご注意ください。 本記事では robots.txt の基礎知識や作成方法・設定例を解説していきます。上記のパターンに該当する、またはブログ以外の大規模サイトを手掛けるときのご参考まで。 robots.txt とは WordPress は様々なページ・ファイルを自動的に生成しており、テーマやプラグインをインストールすると、その分だけファイルも増えます。 SEO の観点で言うと、そのファイルは