Craigslist、Googleをブロック - 理由は不明 ::SEM R (#SEMR)Craigslist、Googleをブロック - 理由は不明 三行広告サイトCraigslistが検索エンジンによるクロール拒否を開始した。 公開日時：2006年01月03日 22:16 クラシファイド広告サイトCraigslist（クレイグズリスト）がGoogleをブロックしはじめた。 Googleサーチを利用してCraigslistサイト内のページに辿り着くことができなのに、先日より全く検索にヒットしなくなったという。いつの時点からか不明だがrobots.txtが更新され、検索エンジンがクロールできないように設定されたのが原因。なぜ検索エンジンによる三行広告掲載の規制に乗り出したのかは不明。 Craigslitは求人、アパート探しからデートの相手探しまで、利用者からの投稿を掲載して月間約10億を超えるページビューを集めているサイト。 Craigslist http://www.crai
