やたら運営しているサイトが重いなと思っていて、人気が出てきたのかしらとおもったら、 Baiduさんのクローラー(Baiduspider+)さんが、ものすごい勢いでアクセスしていらっしゃる。 クローラーさんからのアクセスだけで3,000円以上使ってるかも。。。ガーン。 給料日までお昼は菓子パンかも。 これを機にNginxとrobots.txtを使って、クローラーのアクセス制限を行うことにしました。 俺のロードバランサとウェブ間の転送量が半端ないわけない 最近の外側のロードバランサと内側のウェブサーバの転送量が半端ない。 人気が出てきたのかな。うぷぷぷ、と思ったら全くのKAN-CHI-GUY! 検索クローラーばっかりに人気が出てきてる!毎秒アクセスご苦労様です。。 うーん検索エンジンに載せてもらえるのはありがたいんだけど、ちょっと頻度が多すぎる。 少しはお行儀良くお願いしたいところ。 クラウド