robots.txt 2 users

# Disallow all crawlers access to certain pages. User-agent: * Disallow: /exec/obidos/account-access-login Disallow: /exec/obidos/change-style Disallow: /exec/obidos/flex-sign-in Disallow: /exec/obidos/handle-buy-box Disallow: /exec/obidos/tg... 続きを読む

• www.amazon.co.jp
• テクノロジー

• betelgeuse robots.txt
  2008年10月のからまた変わったようだが、Bot偽装しないと見れなくなったようだ。(魚拓経由なら見れる)http://parasiteeve2.blog65.fc2.com/blog-entry-238.html 2009/06/10