Googleがウェブサイト管理に欠かせない「robots.txt」のインターネット標準化を推進Googleやbingといった検索エンジンがさまざまなサイトの情報を検索できるのは、クローラーと呼ばれるボットが自動的にサイトを巡回するおかげ。このクローラーによるサイト巡回をサイトの管理者側で制御するために必要なのが「robots.txt」と呼ばれるテキストファイルです。20年以上使われながらも正式に標準化されていなかったrobots.txtについて、Googleがインターネット標準化にむけて動き出しています。 draft-rep-wg-topic-00 - Robots Exclusion Protocol https://tools.ietf.org/html/draft-rep-wg-topic-00 Official Google Webmaster Central Blog: Formalizing the Robots Exclusion Protocol Specifica
