Yahoo! ヘルプ - サイト管理者向けYahoo!JAPANでは、サービスの提供・研究・開発・メンテナンスなどの目的で、インターネット上に公開されているウェブページにアクセスするシステムを管理、運営しています。「クローラー」もそのひとつです。 これらのシステムはそれぞれ「ユーザーエージェント」という“名前”を持っています。そして、この“名前”を使って、各ウェブページにアクセスしています。 これらのシステムのユーザーエージェントから、アクセスの目的を確認できます。 ■クローラーについて ウェブページを巡回し、コンテンツを収集・蓄積するシステムを「クローラー」を呼びます。Yahoo!JAPANでは、次のようなユーザーエージェントを持ったクローラーが、検索サービスでの利用や研究、開発などの目的で、ウェブページの収集と蓄積を行っています。 Y!J-VSC/ViSe Y!J-SRD Y!J-BRI Y!J-BRE Y!J SearchM
