Rails: マルチテナントでSidekiqジョブを公平に優先順位付けするsidekiq-fair-tenant gem（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: “Fair” multi-tenant prioritization of Sidekiq jobs—and our gem for it!—Martian Chronicles, Evil Martians’ team blog 原文公開日: 2024/02/14 原著者: Andrey Novikov（バックエンドエンジニア）、Travis Turner（技術記事編集者） サイト: Evil Martians -- ニューヨークやロシアを中心に拠点を構えるRuby on Rails開発会社です。良質のブログ記事を多数公開し、多くのgemのスポンサーでもあります。 日本語ブログ: 合同会社イービルマーシャンズ - Qiita 日本語タイトルは内容に即したものにしました。 はじめに 多くのバックエンドアプリケーションのマルチテナ
Sidekiqをモニタリングする [翻訳] - Qiita
最終更新 2019/10/31 編集者 RKushnir 運用中のSidekiqプロセスを監視するツールを使用して、常に稼働しており、メモリやCPUを過度に使用していないことを確認することをお勧めします。 Inspeqtorを作ったのは、利用可能な既存のツール（たとえば、monit、god、bluepill）が気に入らなかったためです。 私のおすすめは、 UpstartまたはSystemdを使用してSidekiqを起動/停止する。 こうすることで、Ruby VMがクラッシュした場合、プロセスはすぐに再起動します。 Inspeqtorを使用してCPUとメモリの使用量を監視し、必要に応じてSidekiqを再起動する。 Web UI Sidekiqには、Sidekiqの現在の状態を表示できるWebアプリケーションが付属しています。
![Sidekiqをモニタリングする [翻訳] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cfb81e1bc95d279efba3e9e062e698f95005af94/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9U2lkZWtpcSVFMyU4MiU5MiVFMyU4MyVBMiVFMyU4MyU4QiVFMyU4MiVCRiVFMyU4MyVBQSVFMyU4MyVCMyVFMyU4MiVCMCVFMyU4MSU5OSVFMyU4MiU4QiUyMCU1QiVFNyVCRiVCQiVFOCVBOCVCMyU1RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YjEzMzUxY2NhOGQ0OTY1YjQ0OTVhNzI5MjgxOTZmNGY%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0cy0zMTU2JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz04Yjc4N2NkOGI0ZWNmMGQ0ZjgyNzBmNGQyNjRmYzUxNw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D11aa6bb0c95f9f02d7aa57bc829cc067)
sidekiq pro / enterpriseのwikiを読んだので気になった機能の概要をMEMO✍ - Madogiwa Blog
今回はタイトル通り、sidekiq pro / enterpriseのwikiを読んだので、忘れないように気になった機能の概要をメモしておきます✍ ⚠私が拙い英語力 + 技術力で理解した内容のMEMOです。内容が間違っている可能性があるので、注意してください。⚠ 前提事項 sidekiq pro Batches Reliability Client-side Reliability Expiring Jobs sidekiq enterprise Rolling Restarts Rate Limiting Concurrent Bucket, Window Unlimited Periodic Jobs Unique Jobs おわりに 前提事項 整理した内容は、2019/04/30現在のsidekiqのwikiに記載されている内容です。 Home · mperham/sidekiq W
Amazon ECSのローリングアップデート開始からSidekiq停止までの流れを追う - Money Forward Developers Blog
はじめに こんにちは。 SREグループの佐々木と申します。 Amazon ECS（以下、ECS）を使っていて、ローリングアップデート時に、コンテナ上のSidekiqで実行中のジョブに影響が無いのか、気になったことはありませんか？ この記事では、ローリングアップデート時のECSとSidekiqの挙動、ローリングアップデート時に気をつけるポイントを紹介します。 背景 最近、「Sidekiq::Shutdown」のエラーメッセージと共に落ちたジョブがいました。 リリースの際に発生していたので、ECSのローリングアップデート起因で、Sidekiqのジョブが強制終了してしまい、ジョブが落ちたのだろう。と想定していました。 とはいえ、あくまで想定です。 また、ジョブが落ちたことによる影響の有無が分かりませんでした。 そこで、エラーメッセージの原因を調査するために、ECSとSidekiqの挙動を追いま
Sidekiqチューニングのためのパラメータ整理 - Qiita
これは何？ Sidekiqには同時実行数のパラメータがあるため、それをどのようにセットするべきか決める必要があります。 これは、Ruby on Rails 5, 6, 7でSidekiq v6, 7のパラメータのチューニングに必要な情報を事前調査してまとめたものです。 結論 concurrencyを許容するジョブの同時実行数に合わせる config/database.ymlのpoolをconcurrency+1にしておく 最終的には要求されるスループットのジョブを回してパフォーマンスを測定して決める アーキテクチャ概要 キューとスレッドの関係は、Sidekiq v7から導入される Capsules (カプセル)機能によって、やや仕様変更が発生している可能性あり。検証中です。 プロセス：スレッド＝1:N プロセス：キュー＝1:N キュー：スレッド＝N:N ワーカー：キュー＝1:1 プロセス：
hawksnowlog: Sidekiq 超入門
概要 Sidekiq はキュー&ワーカー方式で非同期処理を実現するためのツールです バックエンドに Redis を使っています 今回は動作させるところまでやってみました 環境 macOS 10.13.2 Ruby 2.4.1p111 Redis 3.2.1 sidekiq 5.1.3 インストール bundle init vim Gemfile gem "sidekiq" bundle install --path vendor Redis も必要になるのでインストールしていない場合は brew などを使ってインストールしてください ワーカー作成 vim worker.rb require 'sidekiq' Sidekiq.configure_server do |config| config.redis = { 'db' => 1 } end class MyWorker includ
SidekiqはRedisに何を書き込んでいるのか - Qiita
動機 Sidekiqのジョブを定期的に実行したい場合、crontabでrails runner 'MyWorker.perform_async'みたいなプロセスを起動するケースが多いと思いますが、crontabを実行するサーバがSPOFになってしまったりと、運用上悩ましい点があります。 そこで、AWS環境を前提として、 CloudWatch Events -> Lambda(Python) -> Redis -> Sidekiq という具合に、サーバーレスな仕組みを構築することを考えました。 その過程で、「Redisに何を書き込めばSidekiqがdequeueしてくれるのか？」、という点を解明する必要があったので、Sidekiqを動かしながら実際にRedisの中身を覗いてみました。 なお、言語によってはSidekiq互換のクライアントライブラリが存在するので、それらを利用するのが早いと思
sidekiqを使用する際に注意したい覚え書き - アトラシエの開発ブログ
Railsで非同期処理を行う際にデファクトになりつつあるSidekiqですが、実際の運用ノウハウや少し踏み込んだトラブルシューティングは意外とまだウェブ上にリソースが不足しているという印象があります。そこでいくつか、基本的なことから少し踏み込んだ話まで、いくつか紹介したいと思います。 Sidekiqの導入・運用 Sidekiqの導入にはRedisが必要であるということはよく説明されるのですが、もう少し正確に言うとRedisをデータ保存先としてSidekiqというプロセスがスレッドベースで動きます。したがって正常にSidekiqが動くためには通常のRailsのプロセス(unicornやpassenger)のほかに、redis-serverのプロセス、Sidekiqのプロセスが動き続けていることが必要になります。(厳密に言えばSidekiqだけ動けばいいならRailsプロセスは不要です) re
Sidekiq について基本と1年半運用してのあれこれ - まっしろけっけ
はじめに 実際に運用していた時に非同期にしていた主な処理は下記のようなものがあります。 iOS Android の push 通知の送信処理 ログの作成 様々な外部 API の呼び出し 非同期で更新しても問題ないデータの更新 Sidekiq is なに sidekiqは非同期処理を実現する gem 他にも Ruby で非同期処理を実現できる有名な gem には resque や delayed_job 等がある。 sidekiq.org Enterprise版等もありますが、 今回はOSS版を使用している前提でのお話しです。 他の非同期処理が可能な gem との簡単な比較 FAQ · mperham/sidekiq Wiki · GitHub この内容は結構真実を語っていることを最近知った Sidekiq Redis マルチスレッド リトライ処理あり おしゃれなダッシュボード Resque
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
