ロボット対策 検索にかからない設定ロボット対策 アクセス制限の仕方も参照せよ。 要約 検索エンジンなどのロボットをブロックするためには以下のような方法がある： /robots.txt を作成する。 <meta name="robots" content="noindex,nofollow"> と HTML file の中に書いておく。キャッシュされたくなければ <meta name="robots" content="noarchive"> と書いておく。 ウェブサーバーが Apache 1.2 以上ならば .htaccess で mod_rewrite を用い remote host や user agent で判定して一つ一つブロックする。 可能ならばこれらの全ての方法を併用すれば良いであろう。 /robots.txt ウェブサーバーの管理者に頼んで、 http://domain/robots.txt でアクセスできる
