タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

クローラーに関するstdicのブックマーク (1)

  • Yahoo!に自分のサイトを効率的にクロールしてもらえる「Yahoo!検索 サイトエクスプローラー」の使い方 - GIGAZINE

    Googleには「ウェブマスター ツール」というのがあり、自分のサイトのどこが更新されたかというのをサイトマップ(RSSで代用可能)によって通知し、Googleの検索クローラー(ページを取得して解析するプログラム)用のボットに来てもらうという便利な機能があるのですが、それと同じものがついに日Yahoo!にも登場しました。その名は「Yahoo!検索 サイトエクスプローラー」、まだベータ版ですが、海外では2005年9月にリリースされており、遅れること実に2年半近く、やっと日でも使えるようになったというわけ。 機能的にはかなり優秀で、インデックスされてYahoo!の検索結果として登録されている自分のサイトのページを確認してTSVまたはXML形式で最大1000件ほど出力したり、逆にインデックスされているページを非表示(Yahoo!の検索結果に出ない)にすることもできます。また、スパムサイトが

    Yahoo!に自分のサイトを効率的にクロールしてもらえる「Yahoo!検索 サイトエクスプローラー」の使い方 - GIGAZINE
  • 1