デプロイを任されたので、教わった通りにデプロイしたら障害になった件 ～俺のやらかしを越えてゆけ～Customer Identity Cloud powered by Auth0 を使ったマルチプロダクト構築の実践と総括
sidekiq + redisの構築(Rails 4系) 4-1 - kikeda1104's blog
インフラの準備を分割して書いていきます。 前提環境: ElasticCache(Redis 4) AWS EC2(Amazon linux) AWS(Amazon Linux) 東京リュージョン 検証環境として、立てていきます。(EC2はのぞく) EC2 EC2は立てている前提で、サーバにsshで接続して、redis(client)とmonitをインストール # ssh -i ~/.ssh/[秘密鍵] ec2-user@example.co.jp $ sudo yum install -y monit $ sudo rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm $ sudo yum --enablerepo=remi install redis ElasticCache(Redis 4) 費用面を抑
Blue-Green deployments for Sidekiq workers in docker
It’s quite common nowadays to do blue-green deployments. The way they work is quite straightforward. Whenever you need to deploy a new version of your code to production, you go through the following steps: A new version of your production infrastructure is created, with the new code in it, while the old version remains untouched.Once the new infrastructure is up and running, some process checks i
トレタのバックエンドを ECS へ移行した話 [後編] - トレタ開発者ブログ
Advent Calendar 2020 の 4 日目の記事です。 こんにちは、 wind-up-bird です。 前回に引き続き、ECS移行について書いていきたいと思います。 前編: 移行前の構成や課題、移行方針を記載しています。 後編: 移行後の構成や旧環境との変更点を記載しています。 ※前編をまだ読んでない人は是非チェックしてみてね！ 目次 目次 新環境 全体構成 詳細 AWS のリソース管理 デプロイ ロギング 移行作業 振り返り Build 時間の短縮 EC2とOSの管理から開放された 起動時間と費用 ハマった点など 設定ファイルの管理 ECS 標準デプロイアクション 16kB のログチャンクサイズ 最後に お決まり 新環境 この章では、ECS移行後の構成やデプロイ方法、移行方法を紹介していきたいと思います。 全体構成 全体的な構成は以下のようなイメージです。 1 つの ECS
![トレタのバックエンドを ECS へ移行した話 [後編] - トレタ開発者ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/9ebe6a5677e77f46469498ba6862c8b423578b3c/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F7c9bf6df3de1d24462378f9166bc60aa4dbaf4da%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fw%252Fw1nd-up-b1rd%252F20201201%252F20201201153302.png)
Sidekiq で最大回数リトライ後に失敗した場合出すログに例外のバックトレースを含める - Qiita
この記事では Sidekiq 5 系を対象にしていますが、4 系でも変わらない内容です。 Sidekiq Worker を利用する利点の一つに、 リトライ処理 を Sidekiq に任せられる点があります。 リトライを安全に実行するために、Sidekiq Worker の処理を冪等にしておくことは Sidekiq の Best Practice にも触れられています。以下は引用です。 2. Make your job idempotent and transactional Idempotency means that your job can safely execute multiple times. For instance, with the error retry functionality, your job might be half-processed, throw an
Reducing Sidekiq Memory Usage with Jemalloc | Brandon Hilkert
Ruby and Rails don’t have a reputation of being memory-friendly. This comes with a trade-off of being a higher level language that tends to be more developer-friendly. For me, it works. I’m content knowing I might have to pay more to scale a large application knowing I can write it in a language I enjoy. Turns out…Ruby’s not the memory hog I’d previously thought. After some research and experiment
Incrementally moving to Elixir
Like many working in a legacy Ruby system and learning Elixir we were struggling to figure out how to start moving our code over. Here I wanted to share a technique we used a year ago to start the process. BackgroundAt Fitzdares (a bookmakers) we have an ageing monolith of a system written in Rails over 7 or so years by various teams and contractors and much like the building above it’s starting t
Malloc Can Double Multi-threaded Ruby Program Memory Usage
Sometimes, it really is that simple. It’s not every day that a simple configuration change can completely solve a problem. I had a client whose Sidekiq processes were using a lot of memory - about a gigabyte each. They would start at about 300MB each, then slowly grow over the course of several hours to almost a gigabyte, where they would start to level off. I asked him to change a single environm
Running Sidekiq On Heroku Free Dyno With Puma
In my opinion, Heroku is the nearly perfect place to deploy a project. It provides support for a lot of technologies out of the box with minimal or no configuration. Similarly, Sidekiq is what I strongly prefer whenever there is a need for background job processing. It ships with all the right set of APIs to deal with background processing and more importantly a great monitoring dashboard. So, Las
Contributed Systems
Smart, effective tools for your applications. We build world-class open source tools to help you build world-class applications. Background and scheduled jobs Web-based management UI in 25 different languages Error handling, retries with exponential backoff Extensible middleware and full Ruby API Dead job queue Resque compatible
Graceful shutdown of Sidekiq processes on Kubernetes
In our last blog, we explained how to handle rolling deployments of Rails applications with no downtime. In this article we will walk you through how to handle graceful shutdown of processes in Kubernetes. This post assumes that you have basic understanding of Kubernetes terms like pods and deployments. Problem When we deploy Rails applications on kubernetes it stops existing pods and spins up new
Ruby用バックグラウンドジョブライブラリ「sidekiq」のコードを読んでみる（前半） – なまけものからの脱却を目指すITエンジニアのメモ
自分が担当するRailsアプリケーションでバックグラウンドジョブを動かす必要が出てきた。 Railsでバックグラウンドジョブといえば二大巨頭の Resque と Sidekiq があると思っている。どちらかといえば最近採用されているイメージがあるSidekiqに関して、どんなコードになっているか主要な部分をチェックしておきたい。 今回は、Railsにsidekiqを組み込んでジョブを登録する部分まで。Sidekiqを直接使ってジョブを登録する方法と、ActiveJob経由で登録する方法の2つを比べて見る。 まとめ Sidekiqを直接使用する場合、Redisのコネクションプールを用意しておき、それを使用して各Jobの情報をキューにpushしているだけ。ジョブの登録に関してはシンプルだった。 ActiveJob経由もバックエンドを抽象化している分、少しコードが複雑になっているが、やっているこ
Kubernetes: (Graceful) Sidekiq Worker Lifecycle
IntroductionWith our recent release of Container Stacks v2 into public beta we're totally loving Kubernetes. But as with all love affairs, there are some bothersome aspects that we have to accept and work with. One such aspect is in the inflexibility of the vanilla shutdown sequence provided by Kubernetes. We're also prolific users of Sidekiq for the parts of our backend that are ruby-based (we're
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mhenrixon/sidekiq-unique-jobs: Prevents duplicate Sidekiq jobs
和訳：sidekiq-shceduler README - Qiita
How does sidekiq prevent multiple workers from taking the same job id's?
Best Practices
sidekiqコンテナのヘルスチェック
Signals
Cleanly Scaling Sidekiq - RubyFlow