GitHub - resque/resque: Resque is a Redis-backed Ruby library for creating background jobs, placing them on multiple queues, and processing them later.
Resque (pronounced like "rescue") is a Redis-backed library for creating background jobs, placing those jobs on multiple queues, and processing them later. For the backstory, philosophy, and history of Resque's beginnings, please see the blog post (2009). Background jobs can be any Ruby class or module that responds to perform. Your existing classes can easily be converted to background jobs or yo
Redis::DistMutex - 時限付き分散ロックで効率良くサイトクロールをしよう - ZOZO TECH BLOG
はじめまして。バックエンドエンジニアの吉田です。 2013年5月末の入社以降、大量のEC2インスタンスのVPC移行を担当した後、今はiQONの商品DBを支えるクローラーの改善に取り組んでいます。今回はその改善の1つとして開発したRedis::DistMutexという分散ロック機構のruby実装を紹介をしようと思います。 Redis::DistMutex 開発の経緯や細かい設計の話は後述するとして、まずはつくったgemの紹介をします。 Redis::DistMutex Redisベースの分散ロック機構 rubyのライブラリにあるMutex互換 スレッド間だけでなく、プロセス間・ホスト間でも共有できるMutex 時限つきロックの作成が可能(redisのsetnxとexpireを活用) namespaceを指定できるので、特定の処理ごとにロックの作成が可能 redis2.6以上のみサポート(1秒
クローラーの並列処理でresqueを捨ててsidekiqに移行した話 - ZOZO TECH BLOG
こんにちは、VASILYエンジニアの塩崎です。 今回はiQONを支えているクローラーの並列処理について紹介したいと思います。 並列処理の効率化をする過程でresqueを見限りsidekiqに移行した理由、移行時に書き換えた部分などについてもお話ししたいと思います。 iQONのクローラーの並列処理の仕組み iQONでは毎日数100万点のアイテムのクローリングを行っています。 一度クローリングしたアイテムも毎日1回再クロールし在庫や値下げをiQON内のDBと同期しているため、大量のアイテムを効率良くクロールする仕組みが必要です。 クロールの処理は「ダウンロード」と「スクレイピング」の2つに大きく分けることができます。 このうち、ダウンロードの部分については、提携ECサイトに対して負荷がかからないようにスケジューリングをする必要があります。 この部分の効率化についてVASILYでは分散Mutex
60min.第13回「Background Job Worker座談会」 | けんちゃんくんさんのWeb日記
ursmから、このようなものが何故必要なのか、そしてidobataで実際にどう利用しているのか、ということを話してもらった。 なぜ必要なのか Railsのプロセスはだいたい200Mくらいはメモリを使うので、たとえばそれを32個上げるとするとそれだけで 200M * 32 でだいたい6Gくらいのメモリを使うことになる。(そして、メモリは普通有限なのだ) たとえば1秒かかる処理があると、同時に捌けるリクエストは32個になってしまい、33個目は1秒後に処理が開始されることになって、レスポンスを返すまで2秒かかる。 これが1秒ならまだいいが、普通、処理待ちをしている間にもどんどんリクエストは来るので、雪だるま式に処理待ちのリクエストが増えていくことだろう。 なので、同期処理が必要ない部分は、積極的に非同期処理に逃がしていかないといけない。 Background Job Workerはどれを使えばい
GitHub - akira/exq: Job processing library for Elixir - compatible with Resque / Sidekiq
Exq is a job processing library compatible with Resque / Sidekiq for the Elixir language. Exq uses Redis as a store for background processing jobs. Exq handles concurrency, job persistence, job retries, reliable queueing and tracking so you don't have to. Jobs are persistent so they would survive across node restarts. You can use multiple Erlang nodes to process from the same pool of jobs. Exq use
Rails 非同期で処理を実行する方法(Sidekiq, Resque, Delayed Job, Active Job比較） - Shred IT!!!!
概要 Rails で WEB 画面からのキックでジョブをバックグラウンドで実行するときどうするか。 例えば、メール送信・画像変換・CSVアップロードによる大量SQL実行など。 そんなときはバックグラウンドで非同期にジョブを実行してくれる便利な gem がある。 ruby-rails.hatenadiary.com このサイトで丁寧に説明してくれてます。 代表的だと言われている下記３つについて、それぞれ実装して使い心地を比較する。 Sidekiq: mperham/sidekiq · GitHub Resque: resque/resque · GitHub Delayed Job: collectiveidea/delayed_job · GitHub それと上記サイトで書かれている Active Job これの使い勝手も試してみる。 それぞれの gem について、もっと詳しく知りたい方は
Railsで非同期処理：キュー。Sidekiq（+ActiveJob）がResqueよりも、とても簡単便利。 - Qiita
Railsで非同期処理：キュー。Sidekiq（+ActiveJob）がResqueよりも、とても簡単便利。RubyRailsResquesidekiqActiveJob メール送信や、重い処理、バッチなどでキューイングってよくやると思うんですが、Rubyではそれらを簡単に実現できるライブラリがいくつかあります。有名所だと、Sidekiq / Resque / Delayed Jobとか。僕はSidekiq / Resqueこの2つを使ったことがあるんですが…最近ではSidekiqの方が設定も簡単で使いやすかったので、Sidekiqにまつわる設定などもろもろまとめておきます。 ActiveJobについて Rails4.2からActiveJobというキュー操作のフレームワークが導入されました。これを使用することで、書き方が統一されるため、バックグラウンドのキューライブラリがSidekiqだろ
Delayed Job Best Practices — SitePoint
The need to execute tasks asynchronously, out of the HTTP request handling cycle, will sooner or later appear in all web applications. One gem that can help you handle this need is delayed_job. There are others too, like resque and Sidekiq. I have used many of them and I have to say that I really like delayed_job because it integrates so well with my RDBMS backend (usually, either MySQL or Postgre
Active Job Basics — Ruby on Rails Guides
This guide provides you with all you need to get started in creating, enqueuing and executing background jobs. After reading this guide, you will know: How to create jobs. How to enqueue jobs. How to run jobs in the background. How to send emails from your application asynchronously. 1 What is Active Job?Active Job is a framework for declaring jobs and making them run on a variety of queuing backe
Resqueでいい感じの非同期処理を実装して、Herokuでもいい感じに動くようにしてみた話。 - NOT SO BAD
(photo credit: d_oracle via photopin cc) いままであんまりやったことなかったけど、時間のかかる処理とかを バックグラウンドでやりたいときってあるじゃないですか。 そんな非同期処理を、ResqueってGemでなかなかお手軽にやってみた話。 とはいえハマりどころも多かったし、まぁそれなりには大変っていう感じですな。。 ローカルで動かしてみる どのgemつかうか 調べてるとresqueとかdelayed_jobとかって名前をよく聞きます。 Ruby Toolboxで比べるとresqueが優勢だったのでresqueにする。 Github製らしいっていうのもポイント高し。 The Ruby Toolbox「Background Jobs」 こうやってアクティブなGemを選ぶようにするのはいい気がする。 Redisのセッティング ResqueはRedisっ
Rails4 + turbolinksで作ったサービスのGemfileを公開します - Qiita
個人的に作っていたサービスを無事公開することができたので、Gemfileを公開します。 Puhaar! - お酒を共有するサイト - http://puhaar.jp 開発の背景についてはこちらのブログエントリを見ていただければ幸いです。 【Rails4】turbolinks使って新規サービス作ってみた - 海苔座布団日記 http://norizabuton.hateblo.jp/entry/2014/10/08/072724 source 'https://rubygems.org' gem 'rails', '4.1.6' gem 'pg', '~> 0.17.1' gem 'turbolinks' gem 'jquery-turbolinks', '~> 2.0.2' # $(document).readyを発火させる gem 'jbuilder', '~> 2.0' gem 's
Rails 4.2で導入されたActive Jobを使ってみよう - Qiita
Active Jobとは？ Ruby on Rails（以下Rails） 4.2からバックグラウンドでジョブを実行するActive Jobが利用できるようになりました。 Active Jobを利用することによって、メールの送信や、バッチ処理などをバックグラウンドで実行することが可能になります。 Railsで利用できるバックグラウンドでのジョブ実行の仕組みとしては、Delayed Job, Resque, Sidekiqなどがありますが、Active Jobはこれらのアダプタとなって動作します。 Active Jobは、ジョブスケジューリングを抽象化するAPIを備えており、異なるジョブ実行の仕組みに移行（たとえばDelayed JobからResqueへ移行）しても、コードをほとんど変えることなく実行することができます。 Active Jobを使うための準備 Resqueのセットアップ 今回は
Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
Delayed Job (DJ) | Heroku Dev Center
We recommend not using delayed job for most applications due to the extra load generated on the database. Instead we recommend a Redis based queuing library such as Sidekiq Delayed Job, also known as DJ, makes it easy to add background tasks to your Rails applications on Heroku. You can also use Resque and many other popular background queueing libraries. Delayed Job uses your database as a queue
ScaleOut | Supership
2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。本件に関する詳細は、プレスリリースをご確認ください。 2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。 本件に関する詳細は、プレスリリースをご確認ください。
なるほどUnixプロセス ― Rubyで学ぶUnixの基礎
なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 達人出版会 3,520円 (3,200円+税) 『Working with Unix Processes』待望の完訳。並列処理やデーモン、プロセス生成、そしてシグナルといったUnixの基礎であるプロセスについてRubyで解説する、「今どきの」開発者に向けた新しいUnixプログラミングの手引きです。 ※本書の公式ハッシュタグは#naruhounix になります。 関連サイト原著者による公式ページと訳者らによるサポートページがあります。 Working With Unix Processes - Learn the Fundamentals of Unix Programming in RubyなるほどUnixプロセスサポートページ 日本語版刊行によせてRuby
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - quirkey/resque-status: resque-status is an extension to the resque queue system that provides simple trackable jobs.