Resqueで複数サイトにまたがるクローリングを最適化しよう | VASILY DEVELOPERS BLOG
どうも。バックエンドエンジニアの吉田です。 前回は1サイトをクロールする際の最適化戦略としてRedisベースの分散ロック機構を使った実例を紹介しました。 前回の記事：Redis::DistMutex – 時限付き分散ロックで効率良くサイトクロールをしよう 今回は複数サイトに対する処理をResqueを使って最適化した事例を紹介したいと思います。 ※ランダムにキューをlistenする話の予定でしたが、話がとっ散らかるので主題を変更しました。 主なキーワードとしては、「Resqueのキュー分割」、「Rubyでクラス定義を動的生成」といった感じです。 おさらい 前回使った図を使います。 iQONのクローラーは、提携サイトの商品一覧から商品ページのURLを取得し、ページをダウンロードする処理(fetchフェーズ)を必要な数だけWorkerプロセスとして起動しておき、Resqueを使って処理をして
『俺のシステムがこんなにゴミクズなはずがない3』
disってはきたものの、 仮に技術力や先見性を持った考え方だとか、そういったものを持ちあわせていても どうにもこうにも期日やチーム状況や会社の方針によって ゴミクズシステムは生まれてしまうことがあるのだと思います。 僕のような3年目のぺーぺーではなくて 仮に優秀なエンジニアであったとしても度重なる仕様変更やアクシデントによって滅亡されかけて ゴミクズシステムを生み出してしまうことがあると思うんです。 というわけでゴミゴミとdisっていてもキリはない部分もあると思い この3つ目のエントリでは1,2のような視点ではなくて どうやったらこのようなゴミクズシステムを生まずに済むのだろうか、 そのあたりの技術面について書きたいと思います。 完璧とは言えないまでも、ゴミではなくて3秒ルールで口に運べるレベルのものであれば ある程度運用していけるかなって具合です。 下記にポイントとなる要素をいくつか挙げ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
