ロボット回避
http://www.chami.com/tips/internet/010198I.html http://info.webcrawler.com/mak/projects/robots/norobots.html http://www.google.co.jp/intl/ja/remove.html http://www.robotstxt.org/wc/norobots.html ロボットは、A Standard for Robot Exclusionに準拠しています。 ロボットによる自動収集はrobots.txtまたは、METAタグの記述により回避可能。 robots.txtによる方法 サーバのドキュメントルートにrobots.txtというファイルを 作成する robots.txtは、2つのメイン・コマンドから成ります: 「User-agent」「Disallow
robots.txt とは？ - とほほのWWW入門
robots.txt とは、goo、Google、Lycos などのロボット型検索エンジンに対する命令を記述するためのファイルです。自分のページが、検索エンジンのデータベースに登録されないように指示します。 ただ、この指定は強制的なものではなく、この指定を行っても検索してしまう検索エンジンはあるかもしれません。goo、Google、Lycos は大丈夫のようです。 robots.txt ファイルは、そのサイトのトップに置かなくてはなりません。 ○ http://www.xxx.zzz/robots.txt × http://www.xxx.zzz/~tohoho/robots.txt robots.txt の中には次のように記述します。これは、すべて（*）のロボットに対して、/ ではじまるファイル（つまりはすべてのファイル）を検索データベースに登録することを禁止するものです。 User-a
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
