ロボット回避http://www.chami.com/tips/internet/010198I.html http://info.webcrawler.com/mak/projects/robots/norobots.html http://www.google.co.jp/intl/ja/remove.html http://www.robotstxt.org/wc/norobots.html ロボットは、A Standard for Robot Exclusionに準拠しています。 ロボットによる自動収集はrobots.txtまたは、METAタグの記述により回避可能。 robots.txtによる方法 サーバのドキュメントルートにrobots.txtというファイルを 作成する robots.txtは、2つのメイン・コマンドから成ります: 「User-agent」「Disallow
