770 名前:名無しさん@全板トナメ参戦中[] 投稿日:2008/06/26(木) 01:05:14 ID:GGa+C9Y90 ちょっとおもしろいもの発見したよ Mainichi Daily Newsのサイトがクローラーをどういうふうに制御しているのかと思って robots.txtを見てみたw まず、このURLにアクセス ↓ http://mdn.mainichi.jp/robots.txt そうすると、こういう文字列が出る ↓ User-agent: ia_archiver Disallow: /culture ia_archiverというのはInternet Archiveのクローラー。Disallowは文字通り、「許可しない」という意味。 要するに、「犯行」が行われていた http://mdn.mainichi.jp/culture/のディレクトリ以下の アーカイブを参照不能にしたい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く