毎日デイリーニューズが検索エンジンを拒否 - 新しいTERRAZINEUser-agent: * Disallow: / http://mdn.mainichi.jp/robots.txt 上の呪文の意味 全ての検索エンジンなどのロボット（クローラ：Webページの情報を収集して回るプログラム）を拒否する。 参考：ロボット排除 - 全てのロボットがサイト全体を訪問しないようにしたい場合 ここまで体を張ったネタは、なかなかできんわ。 やっぱ、robots.txtを無視するクローラは必要なのかもしれんね。 追記 はてなブックマークのコメントを見ると、毎日.jpがクローラ蹴ってるように誤解してる人がいる。実際は「毎日デイリーニューズ」が蹴ってるだけだからね。
