robots.txtでブロックしたページが検索結果に出るのはなぜ?検索エンジンのロボットのクローリングを拒否するために、robots.txtでブロックしたはずのページが、検索結果に出現することがあります。 robots.txtの指示を無視している、あるいは理解できていないのでしょうか？ GoogleのMatt Cutts（マット・カッツ）氏が回答しています。 Uncrawled URLs in search results 要点をまとめます。 Googleは、決してrobots.txtを無視したり、理解できていなかったりするわけでありません。 ある条件のもとでは、robots.txtでブロックされたページをSERPに表示することがあります。 たいていの場合は、ブロックページに多くのリンクが張られている場合です。 リンクが張られているということは、参照する（検索する）ユーザーが多いと考えられます。 Googleとしては、ユーザーが求めている情報を返すことが
