米Appleはこのほど、独自のWebクローラー「Applebot」の存在を認めた。SiriとSpotlightなどに活用するためのものだという。 Appleがサポートページで公開した情報によると、Applebotは他社クローラーと同様にサイトのrobot.txtを尊重し、Applebotへの指示がない場合はGooglebotへの指示に従うという。 UserAgent表示には「Applebot」のほか、「Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)」が含まれる。 Appleは2013年、Siriが受けた質問の参照先としてWolframAlphaに加え、米MicrosoftのBi