AWS特集 の記事一覧 | DevelopersIOAmazon が所有する AWS Systems Manager ドキュメントの一覧を AWS CLI で取得して眺めてみた
bingbotのクロール頻度が多すぎて重いので、robots.txtで調整した | colori
サイトを運用していると、時たま謎のサーバー負荷に悩まされることがありますが、今回はBingのクローラーがやらかしてたという話です。 2013/1/16 追記：robots.txtでも調整できない場合の対策も盛り込みました。 ユーザーのアクセスが最も多いお昼時の時間帯でこれですよ。 157.55.35.85 - - [29/Oct/2012:14:07:25 +0900] "GET /***/ HTTP/1.1" 200 5503 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 157.55.35.85 - - [29/Oct/2012:14:07:25 +0900] "GET /***/ HTTP/1.1" 200 5503 "-" "Mozilla/5.0 (compatible;
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
