robots.txt ファイルを使用してクローラがページにアクセスしないようにする代わりに、HTML ページに <META> タグを追加して、そのページをインデックスへ登録しないようロボットに指示することもできます。メタ タグの規格については、http://www.robotstxt.org/meta.html (英語) を参照してください。 サイトのページをすべてのロボットのクロール対象から除外するには、次のメタ タグをページの <HEAD> セクションに挿入します。 <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> サイトのページを Google ロボットのクロールからのみ除外し、他のロボットにはクロールを許可する場合は、次のタグを使用します。 <META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFO