毎日新聞（MDN）が、ついにロボット型検索エンジンのクロールを拒絶！ - 毎日新聞問題の情報集積wiki

770 名前：名無しさん＠全板トナメ参戦中[] 投稿日：2008/06/26(木) 01:05:14 ID:GGa+C9Y90 ちょっとおもしろいもの発見したよ Mainichi Daily Newsのサイトがクローラーをどういうふうに制御しているのかと思って robots.txtを見てみたｗ まず、このURLにアクセス ↓ http://mdn.mainichi.jp/robots.txt そうすると、こういう文字列が出る ↓ User-agent: ia_archiver Disallow: /culture ia_archiverというのはInternet Archiveのクローラー。Disallowは文字通り、「許可しない」という意味。 要するに、「犯行」が行われていた http://mdn.mainichi.jp/culture/のディレクトリ以下の アーカイブを参照不能にしたい

[t-murachi]

事の経緯。

[pmakino]

これはすごい逆SEO…。クローラを一切合切蹴るとはなんという自殺行為

[umiusi45]

ふ～ん

[anhelo]

毎日デイリーニューズ、J-CAST等が取上げる前からWaiwaiのあった部分だけクローラ拒否してたのが、6/27～全ての記事に対して拒否

[naga_sawa]

毎日(MDN)のrobots.txtの変遷まとめ

[ch1248]

この対応は無いなあ・・・。/毎日.jpが拒否しているわけではないらしい。http://d.hatena.ne.jp/TERRAZI/20080709/p1

[guldeen]

マスコミのサイトが、情報隠蔽に走っているという面白い（じゃ済まないんだが）現象。

[riocampos]

完全にロボットのクロールを拒否している…。自殺行為に走って良いのか毎日.jp。