Amazon ECS環境にSidekiqを導入する
概要 ECS環境にRubyのジョブ管理ライブラリSidekiqを導入する際にやったことをまとめてみました 背景 メール送信のように時間がかかる処理や、重たい処理を分割して並列実行したいときに非同期ジョブを使いたくなることがありますよね。 RailsにはActiveJobというジョブ管理のAPIが用意されていますので、これを使わない手はないです。 Railsガイドのジョブを実行するに書かれている通り、本番環境で使うには何らかのキューイングバックエンドが必要です。 production環境でのジョブのキュー登録と実行では、キューイングのバックエンドを用意しておく必要があります。具体的には、Railsで使うべきサードパーティのキューイングライブラリを決める必要があります。 Rails自身が提供するのは、ジョブをメモリに保持するインプロセスのキューイングシステムだけです。 プロセスがクラッシュした
Railsで使うRedisのコマンドについてまとめてみた（Part1: Sets） - Qiita
概要 Redisのメソッドはhttp://redis.io/commands/ にあるように大量にあるので１つずつ和訳して見た。 ついでにrailsでそのコマンドをどう使うかについても記す。 英語に不自由ない方は、直接ドキュメント見ていただいた方が正確かと。 Redisの導入については、Rails + Redis + AWSでPV数を保存を参照していただきたく。 Part1ではSetsのコマンド郡についてまとめる。 Setsの主な用途 (key,value)のペアに対して、valueの方に値を重複なく突っ込みたい場合 「お気に入りリスト」などに使う場合 とりあえず集合知（配列）状のデータを扱いたい場合 コマンド詳細 基本的には、http://redis.io/commands/#set に載っているものを翻訳してみただけです。 SADD(値の追加) 計算量：O(N) Nは挿入される要素の数
Redis入門 インメモリKVSによる高速データ管理
Redis入門 インメモリKVSによる高速データ管理 Josiah L. Carlson, 長尾高弘（訳） KADOKAWA/アスキー・メディアワークス 3,740円 (3,400円+税) RDBに代わる高速なデータ管理システムであるRedisについて、基礎から、リアルタイムデータの前処理、インメモリ・データセットの管理、pub/sub（パブリッシュ/サブスクライブ）と設定まで解説。 関連サイト本書の関連ページが用意されています。 Redis入門Example code from the book内容紹介Redisとは「remote dictionary server」から名付けられたオープンソースのキーバリューストア（KVS）でNoSQLに分類されるものです。すべてのデータをメモリ上に保存するため処理が極めて高速です。VMwareがスポンサーに付き、Salvatore Sanfilipp
Redisのメモリ使用量がmaxを超えた場合の挙動 - Gaishimo
Redisのメモリ使用量がmaxを超えた場合の挙動について検証してみた。 環境: version: 2.4.16 Redisではタイムアウト時間を設定したキーは時間を超えると自動で削除され、タイムアウト時間を設定しないと永続的に保存される。 また、メモリの空き領域がなくなった場合、期限のあるものから削除されていく(デフォルトの設定の場合)。 注意すべき点は、期限が設定されていないキーは削除対象にならないということである。 実際にその挙動を検証してみた。 まず、検証しやすいようにメモリの使用可能な量を以下の値に設定しておく(redis.conf) #新たにキーを保存した際にmaxmemoryエラーにならないぎりぎりの値 maxmemory 910KB maxmemory-policy は 以下を設定 #LRUアルゴリズムを使用して期限切れになったセットのキーを削除 maxmemory-pol
Rails Model Caching with Redis — SitePoint
Stay Relevant and Grow Your Career in TechPremium ResultsPublish articles on SitePointDaily curated jobsLearning PathsDiscounts to dev toolsStart Free Trial7 Day Free Trial. Cancel Anytime. Model level caching is something that’s often ignored, even by seasoned developers. Much of it’s due to the misconception that, when you cache the views, you don’t need to cache at the lower levels. While it’s
RedisサーバのCPU負荷対策パターン - ゆううきブログ
Redisは多彩なデータ構造をもつ1インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。 しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。 実際、最初にCPU負荷が問題になったときにどうしたものかと悩み、調査と試行錯誤を繰り返した。 そこで、この記事では、自分の経験を基に、RedisサーバのCPU負荷対策を「CPU負荷削減」「スケールアップ」「スケールアウト」に分類し、パターンとしてまとめる。 背景 RedisのCPU負荷対策パターン CPU負荷削減 multiコマンド Redisパイプライニング Luaスクリプティング Redisモジュール(夢) スケールアップ スケールアウト 参照用スレーブ 垂直分割 水平分割 Redis Clusterによる水平分割 その他 スライド資料 あとがき 参考資料 背景 R
ソシャゲ開発経験から学んだゲームに Redis を使う際の Tips
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 近年の KVS では割と Redis が覇権を取っていることもあり(当社比), 社内の多くのプロジェクトで Redis を使用するようになりました. ということでノウハウ的なのも溜まってきたのでまとめたいと思います. (大量のユーザーデータを扱うソシャゲにしか当てはまらない部分もあるかと思います) 単純にパフォーマンスを RDB < Redis と思い込んでとりあえずでキャッシュしない 「Redis は速い」と言われますが, インデックスをちゃんと貼った RDB のクエリも そこまで遅いわけではありません. 結局通信コストの方が遥かに大
blog.katsuma.tv
Tokyo Cabinet / Tokyo Tyrantに代表されるKey-Value Storage,いわゆるKVSは多くのプロダクトが乱立してなかなか違いを理解するのも難しい状況になりつつあるのですが、ここ数日はredisに注目をしています。redisとは何ぞやというと、公式サイトには次のような特徴が挙げられています。 memcachedのようないわゆるKVS valueにはStringだけではなく、List, Setも利用できる データに対するpush/pop, add/removeのような操作はすべてatomicな操作 通常はメモリ上で動作するが、定期的にデータをディスクに書き出す（常に書き出すような設定も可能） Master-Slaveのレプしケーションをサポート Ruby, Python, Perl, Java…などの各言語のバインディングを用意 と、かなり豪華なスペックで、な
Redisにマルチプロセスで接続する時に気をつけたい事 - Y's note
Redis in Action 作者:Carlson, Josiah L.Manning PublicationsAmazon Redis 広告配信やっています@yutakikuchi_です。 Redisの内部処理が1スレッドで受けているようなので、マルチプロセスからRedisに書き込み処理を大量に流した時にどうなるのかを検証してみました。言語はCを、Libraryはhiredisを使います。redis/hiredis hiredisを使って単一プロセスで実行した場合と、Apache Moduleにhiredisを組み込んでマルチプロセスの実行状態で検証します。検証機はCentOS6.4です。 hiredis Redisのinstall、version確認、起動 RedisのVersionは2.4.10です。 $ sudo yum install redis -y $ redis-serv
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: 実践Redis入門 技術の仕組みから現場の活用まで: 林昌吾: Digital Ebook Purchas
電池冷蔵庫 | RailsからRedisを使うときにinitializerは必要ない件
Mastering Redis | Data | Paperback
Redis - The Real-time Data Platform
RedisのBitCountとHyperLogLogを使用した超高速Unique User数集計
Amazon.co.jp: Redis入門 インメモリKVSによる高速データ管理: Josiah L. Carlson (著), 長尾高弘 (翻訳): 本
Redis Documentation (Japanese Translation) — Redis Documentation (Japanese Translation)
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
redis_storeを使っているときRails.cache.clearはDBをまるまる吹っ飛ばすから注意 - Qiita
GitHub - redis-store/redis-rails: Redis stores for Ruby on Rails
GitHub - nateware/redis-objects: Map Redis types directly to Ruby objects
