検索エンジンのロボットのクローリングを拒否するために、robots.txtでブロックしたはずのページが、検索結果に出現することがあります。 robots.txtの指示を無視している、あるいは理解できていないのでしょうか? GoogleのMatt Cutts(マット・カッツ)氏が回答しています。 Uncrawled URLs in search results 要点をまとめます。 Googleは、決してrobots.txtを無視したり、理解できていなかったりするわけでありません。 ある条件のもとでは、robots.txtでブロックされたページをSERPに表示することがあります。 たいていの場合は、ブロックページに多くのリンクが張られている場合です。 リンクが張られているということは、参照する(検索する)ユーザーが多いと考えられます。 Googleとしては、ユーザーが求めている情報を返すことが