オバマ大統領関連の話題が続いて申し訳ないですが、昨晩のUsteamの中継でも話題になっていましたが、大統領交代に伴ってこんなところにも大きな「変化」が到来。 それは、ホワイトハウスのサイトのrobots.txt。 robots.txtとは簡単にいうと、検索エンジンにどのページを登録するか、しないかをサイト側で指定するためのものです このrobots.txt、ブッシュ前大統領時代のものは以下のような感じでした。 User-agent: * Disallow: /cgi-bin Disallow: /search Disallow: /query.html Disallow: /omb/search Disallow: /omb/query.html Disallow: /expectmore/search Disallow: /expectmore/query.html Disallow: