Web担当者のレベルが低すぎる (#3985058) | 大手キャリア解約ページの検索回避タグ、総務省の指導で削除へ | スラド

都合の悪い情報が検索にかからないように、なるべく見られたくない情報は検索エンジンによるインデックスされないようにするのは、大半の営利企業ならやっていることです。 しかし、安易に見える形でmeta要素でnoindexとするのはレベルが低すぎます。 超低レベル: (html内) 低レベル: (http header内) X-Robots-Tag: noindex 業界標準レベル: (WebサーバレベルでUserAgentで弾く、以下はApacheの例) BrowserMatch "Googlebot" deny_bots Deny from deny_bots Googleのクロール用のBotはUserAgentにGooglebotが含まれます これをDenyすればクロールされないし、一般ユーザには「ばれにくい」です。 これまでやるのが「業界標準」です。 しかし、これだけでは完璧ではありません