Googleのロボット以外に巡回を拒否しなければならないものが最近はでてきた。これらの検索ロボットの対処に煩わされるのは時間とネットリソースの無駄である。無用の負荷が発生し、ログファイルの見通しも極めて悪くなる。 robots.txtで設定しているのは下記のとおりである。悪質度が高いものだけに限定した。 User-agent: Googlebot-Image User-agent: Yahoo-MMCrawler User-agent: ia_archiver User-agent: bingbot User-agent: msnbot-media User-agent: Baiduspider User-agent: BaiduImagespider User-agent: e-SocietyRobot User-agent: Yeti Googlebot-Image/Yahoo-MMC