モバイルのロボットのことでも書いておくか。 2つのメジャーなロボットGoogleのGooglebot-Mobileと、Yahoo!のY!J-SRD/1.0。 公式資料は以下の2つ Googlebot をブロックまたは許可するには http://www.google.com/support/webmasters/bin/answer.py?hl=jp&answer=40364 Yahoo!検索 ヘルプ - モバイル版Yahoo!検索の検索エンジン用ロボットについて http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html ではまず1日に数万ページ巡回していく暴走気味のGoogleから、 Googlebot-Mobile ・CHTML用 DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible;