ssig33.com - クローラー運用について
fl.ssig33.com を公開した LDR ユーザーの中で ssig33.com を読むような人達は蛮族だった 15 万フィードほどいきなりクロールすることになった という問題が発生しました。以下やった対処。 クローラの UA に連絡先を入れる これ多分一番重要 並列クロールするようにする 同じドメインは並列にクロールしない このドメインとこのドメインは並列にクロールしないみたいなブラックリストも作る ドメイン違うけど裏側は一緒っぽいみたいのをアレするため 手作業でリスト作るのもだるいので IP アドレス一緒だったドメインを全部ぶっこんだ 更新頻度が低いフィードのクロール頻度を下げた 更新頻度の 1/2 もしくは 2 週間に 1 度のうち、頻度の高い方をクロール頻度とした これで全然更新されてないやつは 2 週間に 1 度のクロールとした さらに、クロールした結果フィードが更新された場
ssig33.com - OpenFastladder ホスティングをする上でのダーティーなハック
fl.ssig33.com の運用シリーズ。前回のクローラの記事に書かなかったこと。 OpenFastladder にはいくつか致命的なパフォーマンス上のボトルネックとなるコードがあります。一人で立てて一人で使う分には大抵問題になりませんが、使う人が増えてくると厳しくなってきます。 ですから、それらを潰す方法を紹介します。僕のとった対策はどれもとても最悪な対策で、抜本的な対策を思いついた人は、 fastladder/fastladder に PR を出してもらえると泣いて喜びます。 ※この記事はこのリビジョン時の情報です。 1. 購読フィード一覧の取得が大変に重い ApiController#L71 ここです。標準でこの API は購読フィードを 100 件ずつ取得していきます。ですからこの箇所のせいで API を一回叩くごとに 100 回 SQL が発行されます。 個人で使う場合はこれく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
