百度 日本法人、「Baiduspider問題」への対応を表明:渡辺隆広のサーチエンジン情報館

GoogleやYahoo!で「Baiduspider」と検索してみよう。検索結果にざっと目を通すと「出入り禁止」「〜がやってきた」「行儀が悪い」などと否定的な言葉が並ぶ。。Baiduspiderとは中国の検索エンジン「百度（baidu）」のWebページ収集ロボット（クローラ）の名称だが、総じてウェブマスターからの評判は悪い。実際、私自身も運営するサイトでは Baiduspider を弾いている。要は、クロール頻度が高くサーバに多大な負荷をかけてしまうことが問題なのだ。 そんな百度は日本市場への進出を既に表明しているわけだが、この度、日本のサイト運営者に対してのメッセージを発表した。百度の日本語公式サイトから引用してみよう。 さて、弊社はまもなく日本語版検索サービスを開始致しますが、それにあたり現在日本語サイトの情報収集Spiderのリサーチを実施しております。 それにより御社のサイトに過剰