X-Robots-Tagとは - IT用語辞典概要 X-Robots-Tagとは、HTTPヘッダのフィールド（項目）の一つで、検索エンジンなどが運用するコンテンツ収集システム（ボット/クローラー）に対する要請を記述するためのもの。正式な規格には含まれないが事実上の標準として普及している。 Web検索サービスなどを運用する事業者は、インターネット上に公開されているWebコンテンツを収集して索引付けするため、自動的にWebサイト間を移動しながらWebページや画像ファイルなどをダウンロードしていく収集システムを運用しており、ロボットを略した「ボット」、あるいは「クローラー」などと呼ばれる。 サイト管理者は、HTMLファイルのmeta要素を用いて、検索サービスにおけるそのページの扱いについての希望（強制力はない）を記述することができる。例えば、head要素の中に <"meta name="robots" content="noindex">
