drry+@-> yahooseeker-jp-mobile

二週間ほど前から、Y!JAPAN のモバイル版クローラを目にするようになりました。UA 文字列は DoCoMo/2.0/SO502i (compatible; Mozilla 4.0; MSIE 6.0; yahooseeker-jp-mobile AT Yahoo!JAPAN) です。 で、それが何だという話ですが、お行儀が悪いというお話です。/robots.txt で除外しているクロールして欲しくないファイルを、一日数回という異様に少ない頻度でポツポツと取得しに着ます。そもそも /robots.txt を読んでいません。アドホックな対処はあまりしたくないですけど、仕方がないのでとりあえずホスト単位で弾いてます。今のところ、ホストアドレスが隣合って連続している 2 つのホストでこのクローラが動いているようです。まだ始まって間もないと思うので、ゆくゆくは改善されるはず、と期待して様子見です

[hxxk]

<q>/robots.txt で除外しているクロールして欲しくないファイルを、一日数回という異様に少ない頻度でポツポツと取得しに着ます。そもそも /robots.txt を読んでいません。</q>

[tsupo]

DoCoMo/2.0/SO502i (compatible; Mozilla 4.0; MSIE 6.0; yahooseeker-jp-mobile AT Yahoo!JAPAN) / そもそも /robots.txt を読んでいません。