クローラ巡回拒否対策＆検証方法 - Qiita

概要 一般的にSEO効果を高めるためにクローラ対策をするが、あえてクローラに来てほしくない時の対策とその検証手順を残したいと思います。 クローラに来てほしくないケースとしては、インターネット公開されている業務用のWebシステムのログイン画面のURLが巡回してきたクローラによって、検索エンジンのインデックス対象となり検索結果でヒットしてしまう やること すでに検索エンジンでインデックスされたWebページをクローリング対象から除外することを目指す なお、下記の手順でWebページをインデックス化するところから開始しますが、適宜読み飛ばしてください 対策方法 まずさっそく対策方法は以下の4つになります ただし、これらの対策方法はあくまでもルールを守るクローラのみに効果があり、マナーの悪いクローラには強制力がないため、コンテンツのインターネット公開を制限しない限り解決にはなりません htmlのmet

[NYwholefoods]

“<meta name="robots" content="noindex">”

[a4pocket]

[robots[google][クローラ][htaccess][noindex][nofollow]