robots.txtで検索エンジンのクロールを拒否する方法 内部と外部のSEO対策 TOP → 基本 | 外部SEO対策 → robots.txtで検索エンジンのクロールを拒否する方法 robots.txt(ロボットテキスト)は主に検索エンジンロボットのクローるを制御するために使用します。 一時期robots.txtに検索インデックスに載せることをを許可する記述をすることで、SEO対策効果があると言われていましたが、許可の記述は必要ありません。 robots.txtでクローラーを制御 Windowsのメモ帳などでrobots.txtという名前のファイルを作成します。 作成したrobots.txtをドメインのトップディレクトリにアップロードします。 robots.txtに記述する内容 全ての検索エンジンに対しサイト全体をクロール拒否する場合 User-agent: * Disallow: