bingbotのクロール頻度が多すぎて重いので、robots.txtで調整した | coloriサイトを運用していると、時たま謎のサーバー負荷に悩まされることがありますが、今回はBingのクローラーがやらかしてたという話です。 2013/1/16 追記：robots.txtでも調整できない場合の対策も盛り込みました。 ユーザーのアクセスが最も多いお昼時の時間帯でこれですよ。 157.55.35.85 - - [29/Oct/2012:14:07:25 +0900] "GET /***/ HTTP/1.1" 200 5503 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 157.55.35.85 - - [29/Oct/2012:14:07:25 +0900] "GET /***/ HTTP/1.1" 200 5503 "-" "Mozilla/5.0 (compatible;
