ssig33.com - クローラー運用についてfl.ssig33.com を公開した LDR ユーザーの中で ssig33.com を読むような人達は蛮族だった 15 万フィードほどいきなりクロールすることになった という問題が発生しました。以下やった対処。 クローラの UA に連絡先を入れる これ多分一番重要 並列クロールするようにする 同じドメインは並列にクロールしない このドメインとこのドメインは並列にクロールしないみたいなブラックリストも作る ドメイン違うけど裏側は一緒っぽいみたいのをアレするため 手作業でリスト作るのもだるいので IP アドレス一緒だったドメインを全部ぶっこんだ 更新頻度が低いフィードのクロール頻度を下げた 更新頻度の 1/2 もしくは 2 週間に 1 度のうち、頻度の高い方をクロール頻度とした これで全然更新されてないやつは 2 週間に 1 度のクロールとした さらに、クロールした結果フィードが更新された場
