自分のドメイン名にあるページにロボットをアクセスさせないための手段として、robots.txtを採用しているWebサイトが結構ある。確かにいいやり方だけど、僕らの元に寄せられる質問を見ていると、robots.txtを使ってグーグルやヤフー、MSNといった検索エンジンのロボットを排除するとは一体どういうことなのかってことに関して、少々誤解があるようだ。以下に、ロボットの排除方法をざっと分類してみよう。 robots.txt ―― URLへの訪問はさせないが、URL自体をインデックスに取り込んで検索結果ページ(SERP)に表示するのは許可する(よくわからない人は、下の例を見てほしい)。 メタタグ(meta要素)のnoindex ―― 訪問は許可するが、URLのインデックス化や、SERPへの表示はさせない。 nofollow属性の付いたリンク ―― 賢いやり方ではない。あるリンクにnofollo