Yahoo! ヘルプ - サイト管理者向け

Yahoo!JAPANでは、サービスの提供・研究・開発・メンテナンスなどの目的で、インターネット上に公開されているウェブページにアクセスするシステムを管理、運営しています。「クローラー」もそのひとつです。 これらのシステムはそれぞれ「ユーザーエージェント」という“名前”を持っています。そして、この“名前”を使って、各ウェブページにアクセスしています。 これらのシステムのユーザーエージェントから、アクセスの目的を確認できます。 ■クローラーについて ウェブページを巡回し、コンテンツを収集・蓄積するシステムを「クローラー」を呼びます。Yahoo!JAPANでは、次のようなユーザーエージェントを持ったクローラーが、検索サービスでの利用や研究、開発などの目的で、ウェブページの収集と蓄積を行っています。 Y!J-VSC/ViSe Y!J-SRD Y!J-BRI Y!J-BRE Y!J SearchM

[sigwyg]

Yahoo!検索のクローラー。日本語版はさらに独自ロボットあり。

[haida]

yahooクローラのUA情報がまとめられている。

[aki77]

JAPAN独自のクローラー