[レベル: 初級] robots.txt は、検索エンジンのクロールを拒否する仕組みであって、インデックスを拒否する仕組みではありません。 そうかと言って、インデックス拒否にまったく役立たないということでもありません。 robots.txt でブロックしたページでも検索結果に表示される robots.txt でクロールをブロックしたページでも検索結果に出てくることがあります。 たとえば、Twitter カードのバリデーションを検証するツールのページは robots.txt でブロックされています。 にもかかわらず、検索結果には出てきます。 このツールを公開している cards-dev.twitter.com の robots.txt はサイト全体のクロールをブロックしています。 ただし、クロールしないためページの内容を検索エンジンは読み取ることができません。 meta descriptio