Yahoo! Japan独自のクローラー "Y!J-BSC/1.0" が行儀悪い？：地方で活動するweb制作者の日々を綴るblog2005年12月01日10:44 カテゴリ日記 Yahoo! Japan独自のクローラー "Y!J-BSC/1.0" が行儀悪い？ もう気づけば12月。月日の経つのは早いものだ。 サーバ管理者たるもの、日々サーバー達のモニタリングが大事。 たとえ台数が少なくても、何かあってトラブってからでは遅いのです。 朝起きて眠い目を擦りながら監視画面を見ていると、１台のwebサーバーのトラフィックが激増していることが判明。 netstatを掛けると、211.14.8.240から80番ポートにかなりの数のアクセスがされている。 で、そのIPをlookupしてみると… yahoo.co.jp なんですけど？ さらにwebログをチェックしていると 211.14.8.240 - - [01/Dec/2005:xx:xx:xx +0900] "GET /xxx/xxx.html HTTP/1.1" 200 xx
