Redis::DistMutex – 時限付き分散ロックで効率良くサイトクロールをしよう | VASILY DEVELOPERS BLOG
はじめまして。バックエンドエンジニアの吉田です。 2013年5月末の入社以降、大量のEC2インスタンスのVPC移行を担当した後、今はiQONの商品DBを支えるクローラーの改善に取り組んでいます。今回はその改善の1つとして開発したRedis::DistMutexという分散ロック機構のruby実装を紹介をしようと思います。 Redis::DistMutex 開発の経緯や細かい設計の話は後述するとして、まずはつくったgemの紹介をします。 Redis::DistMutex Redisベースの分散ロック機構 rubyのライブラリにあるMutex互換 スレッド間だけでなく、プロセス間・ホスト間でも共有できるMutex 時限つきロックの作成が可能(redisのsetnxとexpireを活用) namespaceを指定できるので、特定の処理ごとにロックの作成が可能 redis2.6以上のみサポート(1秒
Rubyで複数並行なクローラをすっきりと書けるライブラリ「cosmicrawler」をgemとして公開した - koeだめ 過去アーカイブ[〜2013-12-14]
http://rubygems.org/gems/cosmicrawler ソースは、https://github.com/bash0C7/cosmicrawler gem install cosmicrawlerするとか、Gemfileにgem 'cosmicrawler'と書いてbundle installするとかした後、 require 'cosmicrawler' Cosmicrawler.http_crawl(%w(http://example.com/1 http://example.com/2)) {|request| get = request.get puts get.response if get.response_header.status == 200 } という感じにブロックを渡すだけで、デフォルトでは８並行でババッとクロールすることができます。 もしもっと平行数
![Rubyで複数並行なクローラをすっきりと書けるライブラリ「cosmicrawler」をgemとして公開した - koeだめ 過去アーカイブ[〜2013-12-14]](https://cdn-ak-scissors.b.st-hatena.com/image/square/d81bedcb3ba405f608e549e2b685f27cb730ae8a/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117126976353052%2F17680117126976357176%2F1550818887)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
