検索エンジンのロボットのクローリングを拒否するために、robots.txtでブロックしたはずのページが、検索結果に出現することがあります。 robots.txtの指示を無視している、あるいは理解できていないのでしょうか? GoogleのMatt Cutts(マット・カッツ)氏が回答しています。 Uncrawled URLs in search results 要点をまとめます。 Googleは、決してrobots.txtを無視したり、理解できていなかったりするわけでありません。 ある条件のもとでは、robots.txtでブロックされたページをSERPに表示することがあります。 たいていの場合は、ブロックページに多くのリンクが張られている場合です。 リンクが張られているということは、参照する(検索する)ユーザーが多いと考えられます。 Googleとしては、ユーザーが求めている情報を返すことが
![robots.txtでブロックしたページが検索結果に出るのはなぜ?](https://cdn-ak-scissors.b.st-hatena.com/image/square/f00f4804fe59acd36d8e9d02e50d10db7dc9a119/height=288;version=1;width=512/https%3A%2F%2Fwww.suzukikenichi.com%2Fblog%2Fwp-content%2Fuploads%2Fsplash_1200_675.png)