Resqueで複数サイトにまたがるクローリングを最適化しよう | VASILY DEVELOPERS BLOG

世の中カテゴリーの変更を依頼記事元:

tech.vasily.jp

54 usersがブックマークコメント

コメント

2

記事へのコメント2件

注目コメント
新着コメント

xoyip Resque系の情報はあまりないのでためになりますねえ

2014/01/31 リンク

restartr ブログかきましたー。

2014/01/30 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

Resqueで複数サイトにまたがるクローリングを最適化しよう | VASILY DEVELOPERS BLOG

どうも。バックエンドエンジニアの吉田です。前回は1サイトをクロールする際の最適化戦略としてRedisベ... どうも。バックエンドエンジニアの吉田です。前回は1サイトをクロールする際の最適化戦略としてRedisベースの分散ロック機構を使った実例を紹介しました。前回の記事：Redis::DistMutex – 時限付き分散ロックで効率良くサイトクロールをしよう今回は複数サイトに対する処理をResqueを使って最適化した事例を紹介したいと思います。 ※ランダムにキューをlistenする話の予定でしたが、話がとっ散らかるので主題を変更しました。主なキーワードとしては、「Resqueのキュー分割」、「Rubyでクラス定義を動的生成」といった感じです。おさらい前回使った図を使います。 iQONのクローラーは、提携サイトの商品一覧から商品ページのURLを取得し、ページをダウンロードする処理(fetchフェーズ)を必要な数だけWorkerプロセスとして起動しておき、Resqueを使って処理をして

ブックマークしたユーザー

suginoy2014/04/01
manboubird2014/03/23
checkpoint2014/02/21
yahihi2014/02/19
yukimori_7262014/02/18
inouetom2014/02/04
hohoho_ho20052014/02/04
ayaniimi2132014/02/03
ohnishiakira2014/02/02
clavier2014/02/02
quodius2014/02/02
peketamin2014/02/02
katotaku2014/02/01
superblueplanet2014/02/01
yk56562014/02/01
promisedhill2014/02/01
kirine2014/02/01
chibahiro2014/02/01

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - 世の中

いま人気の記事 - 世の中をもっと読む

新着記事 - 世の中

新着記事 - 世の中をもっと読む

設定を変更しましたx