検索結果に表示させない技術 robots.txt と X-Robots-Tag を正しく組み合わせよう - Techtouch Developers Blog

はじめに robots.txt robots.txt の基本 robots.txt の限界 X-Robots-Tag X-Robots-Tag の仕様 X-Robots-Tag と robots.txt の組み合わせに注意 X-Robots-Tag の限界 さいごに 参照 はじめに こんにちは。SRE マネージャーの izzii です。最近会社でオフィスの引越しがありました。前のオフィスはコワーキングスペースで複数社で空間を分割するようなオフィスだったのですが、フロア丸々テックタッチというのが新鮮です！ エレベーターを上がると会社のロゴが大きく見えるのが嬉しい！ さて、私は一年ほど前にウェブセキュリティの文脈でクローラーについて調査することがありました。そこで robots.txt や meta tag に関する不正確であったり古い記事が、検索の上位に紛れ込んでいることに気がつきました。同

[mohri]

クロールさせておいて、ヘッダで「インデックスするな」と伝えるみたいなやり方。居留守に納得しない客に自分で「留守さよ」と言った夏目漱石の逸話を思い出す

[charun]

noindex関係

[akymrk]

“インデックス指示が効かない検索エンジンも存在するので、 robots.txt や X-Robots-Tag で制御できることは当然ですが完璧ではありません”

[ihirokyx]

クローラーとのからみ

[diveintounlimit]

“robots.txt はあくまで「クロールの指示」であり、「インデックスの指示」ではない”トンチみたいな話だな。