sidekiq + redisの構築(Rails 4系) 4-1 - kikeda1104's blog
インフラの準備を分割して書いていきます。 前提環境: ElasticCache(Redis 4) AWS EC2(Amazon linux) AWS(Amazon Linux) 東京リュージョン 検証環境として、立てていきます。(EC2はのぞく) EC2 EC2は立てている前提で、サーバにsshで接続して、redis(client)とmonitをインストール # ssh -i ~/.ssh/[秘密鍵] ec2-user@example.co.jp $ sudo yum install -y monit $ sudo rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm $ sudo yum --enablerepo=remi install redis ElasticCache(Redis 4) 費用面を抑
Ruby用バックグラウンドジョブライブラリ「sidekiq」のコードを読んでみる（前半） – なまけものからの脱却を目指すITエンジニアのメモ
自分が担当するRailsアプリケーションでバックグラウンドジョブを動かす必要が出てきた。 Railsでバックグラウンドジョブといえば二大巨頭の Resque と Sidekiq があると思っている。どちらかといえば最近採用されているイメージがあるSidekiqに関して、どんなコードになっているか主要な部分をチェックしておきたい。 今回は、Railsにsidekiqを組み込んでジョブを登録する部分まで。Sidekiqを直接使ってジョブを登録する方法と、ActiveJob経由で登録する方法の2つを比べて見る。 まとめ Sidekiqを直接使用する場合、Redisのコネクションプールを用意しておき、それを使用して各Jobの情報をキューにpushしているだけ。ジョブの登録に関してはシンプルだった。 ActiveJob経由もバックエンドを抽象化している分、少しコードが複雑になっているが、やっているこ
State of the 2017 Rails Stack | Scout APM Blog
Are folks upgrading to Rails 5? Where is the Postgres vs. MySQL battle heading? Are devs embracing Puma and concurrency? If you're curious about the above, you've come to the right place. We collect gems used on the apps we monitor at Scout to assist with debugging issues and to prioritize libraries we want to instrument. This data set, which is across thousands of apps, should be enough to grab g
Running concurrent workflows in Ruby
This article was originally published on Chaps by Maciej Nowak, and with their permission, we are sharing it here for Codeship readers. Have you ever struggled with a chain of rake tasks that needed to be run periodically and their runtime was giving you a headache? Did you ask yourself how to save time by boosting execution along with readability for huge chunks of jobs? These questions are very
ElastiCache がフェイルオーバーした際に気をつけるべき redis-rb の利用方法について - Qiita
遭遇した状況 今回は中でも ElastiCache プライマリクラスターのみで障害が発生した場合 の話しです。 ドキュメントにもあるように、マルチAZ 環境での自動フェイルオーバーでの今回の状況においては 書き込みは、昇格プロセスが完了するとすぐに (通常は数分) 再開できます。ElastiCache が昇格したレプリカの DNS を反映させるため、書き込みのためのエンドポイントを変更する必要はありません。 となっています。 ポイントは、「DNS を反映させるため、書き込みのためのエンドポイントを変更する必要がありません」というところです。 発生した課題 自動フェイルオーバーが発生した際に、運用している Rails アプリから上記のエラーが止まらないと言う状況になりました。 最終的には、Web アプリ、ワーカーアプリともに、再起動することで状況は改善しました。 このエラーメッセージから分か
GitHub - akira/exq: Job processing library for Elixir - compatible with Resque / Sidekiq
Exq is a job processing library compatible with Resque / Sidekiq for the Elixir language. Exq uses Redis as a store for background processing jobs. Exq handles concurrency, job persistence, job retries, reliable queueing and tracking so you don't have to. Jobs are persistent so they would survive across node restarts. You can use multiple Erlang nodes to process from the same pool of jobs. Exq use
Redis作者自身によるRedisとMemcachedの比較 | Yakst
Redisの作者antirez氏自らによる、memcachedとRedisの長所短所の比較。特に、Redisを単なるキャッシュ用アプリケーションとしてmemcachedと比較することの間違いと、それぞれの向いている使用方法についての私見。 あなたが私と面識があるなら、私が競合製品があることが悪いと考える人間でないことはご存知でしょう。ユーザーに選択肢があることは本当にいいことだと思っていますし、だからこそ他の技術とRedisを比較するようなことはほとんどしませんでした。 しかし、最適なソリューションを選ぶためには、ユーザーは正しく情報を持たねばならないのも確かです。 この記事を書くのは、有名なライブラリであるSidekiqの作者として知られるMike Perhamが、Redisのバックエンドストレージとしての使い方を書いた記事を読んだのがきっかけです。従って、私はMikeがRedisに「反
sidekiqを使用する際に注意したい覚え書き - アトラシエの開発ブログ
Railsで非同期処理を行う際にデファクトになりつつあるSidekiqですが、実際の運用ノウハウや少し踏み込んだトラブルシューティングは意外とまだウェブ上にリソースが不足しているという印象があります。そこでいくつか、基本的なことから少し踏み込んだ話まで、いくつか紹介したいと思います。 Sidekiqの導入・運用 Sidekiqの導入にはRedisが必要であるということはよく説明されるのですが、もう少し正確に言うとRedisをデータ保存先としてSidekiqというプロセスがスレッドベースで動きます。したがって正常にSidekiqが動くためには通常のRailsのプロセス(unicornやpassenger)のほかに、redis-serverのプロセス、Sidekiqのプロセスが動き続けていることが必要になります。(厳密に言えばSidekiqだけ動けばいいならRailsプロセスは不要です) re
Sidekiq (Redis) vs Shoryuken (AWS SQS) · Pablo Cantero
Sidekiq (Redis) vs Shoryuken (AWS SQS) 14 Mar 2015 DISCLAIMER: This post is not intended to compare Sidekiq and Shoryuken implementations. Both are very similar, actually Shoryuken started as a shameless copy of Sidekiq <3 open source. The idea of this post is to compare Sidekiq as a Redis based queue system with Shoryuken as a SQS client. Resque > Sidekiq > Shoryuken Before Sidekiq, Resque was th
Optimizing Sidekiq | Mike Perham
2015-10-14 Sidekiq has a reputation for being much faster than its competition but there’s always room for improvement. I recently rewrote its internals and made it six times faster. Here’s how! It’s been quite a while since I’ve touched Sidekiq’s core design. That was intentional: for the last year Sidekiq has stabilized and become reliable infrastructure that Ruby developers can trust when build
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How does sidekiq prevent multiple workers from taking the same job id's?
Migrating from redis-namespace | Mike Perham
Reddit - Dive into anything
https://quabr.com/36911486/err-max-number-of-clients-reached-sidekiq-redis
EXECABORT Transaction discarded because of previous errors.: · Issue #2326 · sidekiq/sidekiq
GitHub - chaps-io/gush: Fast and distributed workflow runner using ActiveJob and Redis
GitHub - mperham/connection_pool: Generic connection pooling for Ruby
Using Sidekiq with redis_failover gem - Byte Friendly
Using Redis
Advanced Options