bingbotのクロール頻度が多すぎて重いので、robots.txtで調整した | colori
サイトを運用していると、時たま謎のサーバー負荷に悩まされることがありますが、今回はBingのクローラーがやらかしてたという話です。 2013/1/16 追記：robots.txtでも調整できない場合の対策も盛り込みました。 ユーザーのアクセスが最も多いお昼時の時間帯でこれですよ。 157.55.35.85 - - [29/Oct/2012:14:07:25 +0900] "GET /***/ HTTP/1.1" 200 5503 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" 157.55.35.85 - - [29/Oct/2012:14:07:25 +0900] "GET /***/ HTTP/1.1" 200 5503 "-" "Mozilla/5.0 (compatible;
フェレットプラス（FerretPLUS）｜Webマーケティングポータルサイト
BtoBマーケティングの最新トレンドを知って知識をアップデートしたい方/成果の出るリードジェネレーション／ナーチャリング施策を行いたい方/リード獲得数、アポイント獲得率、受注率を向上させたい方/インサイドセールスを立ち上げ検討している・推進したい方/新たにデジタルマーケティング組織を立ち上げている・推進したい方/マーケティング/セールス領域でデジタルツールやSaaSの導入検討/運用されている方
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SEOチェキ
