Yahoo! SlurpもX-Robots-Tagをサポート - F.Ko-Jiの「一秒後は未来」

Yahoo!の検索エンジンロボット(Yahoo! Slurp)が X-Robots-Tag をサポートするようになったとのことです。 X-Robots-TagはHTTP Headerの中でクローラーに返されるため、HTMLに限らずPDFやExcelなどあらゆるタイプのファイルについて検索エンジンのインデックスを柔軟にコントロールできるようになります。 [参照] Yahoo! Search Blog: Yahoo! Search Support for X-Robots-Tag Directive to Simplify Webmaster’s Control and Weather Update 利用できる設定値は、HTMLのmetaタグで利用するものと同じです。 1. X-Robots-Tag: NOINDEX Yahoo!の検索結果にURLを表示させたくない場合 2. X-Robots

[julajp]

半公開状態の中途半端な(添付や資料)ファイル、ドキュメントなどの検索ロボットの振る舞いを規制できる。

[mizuno_takaaki]

X-Robots-Tag

[netfan]

SEO

[kdaiba]

クローラーコントロール

[yappo]

gunghoでも対応してる？

[asiamoth]

ロボット用のヘッダ情報を送ることによって、インデックスのされ方をコントロールできる。

[koyhoge]

検索エンジンの挙動をヘッダで規定する