検索エンジンYahoo!が放つクローラー(ウェブ収集ロボット)の「Yahoo! Slurp」が、ホームページのサーバーに存在しない「SlurpConfirm404」なるフォルダにアクセスしてきました。IPアドレスとUA(ユーザーエージェント)は下のとおりで、通常のクローリング時と同じですな。 *.crawl.yahoo.net Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) さっそくこのキーワードで検索してみると、いろいろと情報がヒット。昔はinktomiのIPアドレスで来たようです。要はファイルが見つからないエラー「404 not found」であるに関わらず、「202 OK」を返してしまうサーバーなので、挙動のチェックを行うため故意に存在しないページへとアクセ