■robots.txtを使う ディレクトリごとなど、複数のページを検索クロール禁止にするには、 ドキュメントルートにrobots.txtを置いて設定すると早い。 例 User-agent: * Disallow: /internet/ Disallow: /av.html ■metaタグを使う ドキュメントルートにrobots.txtをおけない場合や、 1ページだけ検索クロール禁止すればいいだけの時はmetaタグで禁止する。 例 <meta name="robots" content="noindex,nofollow" /> ■リンク元から遮断する クロールされてほしくないページに直接metaタグを書き込めない場合は、 そのページをリンクしているページに指定することができる。 例 <a href="http://hogehoge.com/" rel="nofollow">クロールされたく