Sidekiq と Solid Queue の機能比較 - Kaigi on Rails day2 Sidekiq vs Solid Queue によせて - Techouse Developers Blog
Kaigi on Rails 2024 に参加しました こんにちは、クラウドハウス採用でエンジニアインターンをしている Higashiji です。 10 月の 25・26 日、Ruby on Rails についてのカンファレンス、 Kaigi on Rails 2024 が開催されました。 弊社からは新卒エンジニアの @izumitomo が「デプロイを任されたので、教わった通りにデプロイしたら障害になった件 ～俺のやらかしを越えてゆけ～ 」というセッションで登壇しました。 スライドがアップロードされているので、興味を持っていただけた方はぜひご覧になってください。 私はこれまでカンファレンスに参加したことがなかったのですが、カンファレンス参加費補助制度を使って初めて参加させていただきました。 本記事では、Shinichi Maeshima (@willnet) さんによるセッション Sid
Shoryuken を導入しようとして諦めた話 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Rails で非同期処理といえば、 Sidekiq, Resque, DelayedJob あたりが有名かと思います。 DelayedJob は RDS をジョブキューとして利用できる1ため、インフラの準備が不要で比較的ライトに導入できますが、数万件のジョブを登録しようと思うと RDS にかなりの負荷がかかりますし、Insert もそれほど早くないため、ジョブキューとしてはあまり適しているとは言えません。 Redis などのインメモリーデータベースを用いれば、RDS に負荷をかけず、Insert の高速化も見込めますが、万が一 Redi
Reducing Sidekiq Memory Usage with Jemalloc | Brandon Hilkert
Ruby and Rails don’t have a reputation of being memory-friendly. This comes with a trade-off of being a higher level language that tends to be more developer-friendly. For me, it works. I’m content knowing I might have to pay more to scale a large application knowing I can write it in a language I enjoy. Turns out…Ruby’s not the memory hog I’d previously thought. After some research and experiment
How We Built A Multi-Tenant Job Queue System with PostgreSQL & Ruby
Engineering Inner Join How We Built A Job Queue System with PostgreSQL & Ruby For Our B2B SaaS Application Why and how we built a multi-tenant job queue system for our B2B SaaS Application with PostgreSQL and Ruby In web application, a background job queue system is important for applications that need to process long-running operations (e.g, resize image, scan resume files, analytics workload). S
Incrementally moving to Elixir
Like many working in a legacy Ruby system and learning Elixir we were struggling to figure out how to start moving our code over. Here I wanted to share a technique we used a year ago to start the process. BackgroundAt Fitzdares (a bookmakers) we have an ageing monolith of a system written in Rails over 7 or so years by various teams and contractors and much like the building above it’s starting t
Running Sidekiq On Heroku Free Dyno With Puma
In my opinion, Heroku is the nearly perfect place to deploy a project. It provides support for a lot of technologies out of the box with minimal or no configuration. Similarly, Sidekiq is what I strongly prefer whenever there is a need for background job processing. It ships with all the right set of APIs to deal with background processing and more importantly a great monitoring dashboard. So, Las
Implementing a worker pool
Often in time when you need to execute multiple tasks it pays off to run them in parallel, especially when they involve blocking I/O operations. However, it may not always be possible to spin as many threads as the number of tasks, think about the maximum number of connections allowed to a database server or threads that could use large chunks of memory. In order to improve performance of an appli
Introducing Faktory
2017-10-24 Yesterday I explained how a good background job framework is critical to scaling business applications. Today, meet Faktory. I’ve spent the last six months building Faktory, a new background job system which aims to bring the best practices developed over the last five years in Sidekiq to every programming language. The Basics Faktory is a server daemon which provides a simple API to pr
Graceful shutdown of Sidekiq processes on Kubernetes
In our last blog, we explained how to handlerolling deployments of Rails applications with no downtime. In this article we will walk you throughhow to handle graceful shutdown of processes in Kubernetes. This post assumes that you have basic understanding ofKubernetesterms likepodsanddeployments. ProblemWhen we deploy Rails applications on kubernetesit stops existing pods and spins up new ones.Whe
RSpec でキューイングした ActiveJob を同期実行する - Qiita
ジョブの実行をテストしたいとき、キューに入ったことをテストしたいだけのときと、その実行結果まで含めてテストしたいとき（つまり同期実行したいとき）がある。 前者であればRails.application.config.active_job.queue_adapter = :testで足りるが、後者を実現するためにはどうすればよいだろう。 方法はいくつかあって、まずはRails.application.config.active_job.queue_adapter = :inlineとする方法。 これは簡単に同期実行は実現できるが、こんどはキューに入ったことが確認できなくなってしまうし、他の非同期のままにしておきたいところまで影響がでてしまう。 またSidekiqを使っているのであればSidekiq::Testing.inline!やSidekiq::Testing.fake! で制御すること
Ruby用バックグラウンドジョブライブラリ「sidekiq」のコードを読んでみる（前半） – なまけものからの脱却を目指すITエンジニアのメモ
自分が担当するRailsアプリケーションでバックグラウンドジョブを動かす必要が出てきた。 Railsでバックグラウンドジョブといえば二大巨頭の Resque と Sidekiq があると思っている。どちらかといえば最近採用されているイメージがあるSidekiqに関して、どんなコードになっているか主要な部分をチェックしておきたい。 今回は、Railsにsidekiqを組み込んでジョブを登録する部分まで。Sidekiqを直接使ってジョブを登録する方法と、ActiveJob経由で登録する方法の2つを比べて見る。 まとめ Sidekiqを直接使用する場合、Redisのコネクションプールを用意しておき、それを使用して各Jobの情報をキューにpushしているだけ。ジョブの登録に関してはシンプルだった。 ActiveJob経由もバックエンドを抽象化している分、少しコードが複雑になっているが、やっているこ
Kubernetes: (Graceful) Sidekiq Worker Lifecycle
IntroductionWith our recent release of Container Stacks v2 into public beta we're totally loving Kubernetes. But as with all love affairs, there are some bothersome aspects that we have to accept and work with. One such aspect is in the inflexibility of the vanilla shutdown sequence provided by Kubernetes. We're also prolific users of Sidekiq for the parts of our backend that are ruby-based (we're
ActiveJobでリトライ制御 - Qiita
ActiveJob はまだまだリトライ制御機能が弱く、retry_job での単純な再実行位しか機能がありません1。 そこで、公式ドキュメントで公開されている API のみを活用し、ある程度の制御が行えるモジュールを作成しました。 成功するまでリトライ まず retry_job を使ったシンプルな例です。 StandardError が発生すると、rescue_fromで補足され、5分後に再実行するようにスケジューリングされます。 ただし、これでは成功するまで無限にリトライが行われてしまいます。リトライ回数の制限を行おうと思っても、現状 ActiveJob ではその制御機構がありません。 当然 Gems もいくつか既に提供されていますが、まだまだ「これが間違いない」と思える gem が出てきてないように思います。 おそらく一番 Github でスターが多いのが ActiveJob::Ret
Monitoring Sidekiq using AWS Lambda and CloudWatch | Brandon Hilkert
A few articles ago, I wrote about how to monitor Sidekiq retries using AWS Lambda. Retries are often the first indication of an issue if your application does a lot of background work. As Bark continues to grow, we became interested in how the number of jobs enqueued and retrying trended over time. Using AWS Lambda to post this data to CloudWatch, we were able to visualize this data over time. The
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cross-pollination · Issue #13 · ruby-shoryuken/shoryuken
Mistakes Rails Developers Make in Elixir Part 1: Background Jobs - Crevalle
Signals
Signals
GitHub - danielwestendorf/get_schwifty: Render portions of your Rails view in a background job queue. ActiveJob + ActionCable.
When distributed locks might be helpful in Ruby on Rails application