Redis の expire はいつ実際にデータを消しているのか？ - 猫型の蓄音機は 1 分間に 45 回にゃあと鳴く
expire で指定した時間を過ぎたデータが実際に消されるタイミングはいつなのかということを調べた。 どこから調べたの 公式ドキュメントのexpireのところ から調べた で、どうやって消してるの Redis は expire で指定した時間が過ぎたデータを消すのにふたつの戦略を使ってる。 値が取得されるときに消すよ 値が取得されるときに、その値がすでに expire 過ぎてたら消す。 値が取得されなくても消すよ 値が取得されるときに消す感じだと、たまにしか取得されないデータとかあるいは全然取得されないみたなデータはいつまでも消えなくて困るよね 値が取得されなくても定期的に消そうねって感じで消す。Redis さんは以下のような感じで消してるらしい まずランダムに20個のキーを選ぶ 選んだキーのデータが expire 過ぎてたら消す 25 個より多くの key が expired だったら1
Redis 本番障害から学んだコードレビューの勘所
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Redis不適切利用による問題は本番運用が始まってから顕在化することが多く、時限爆弾みたいな存在です。事前に防ぐにはコードレビュー段階で叩くしかありません。 Redisはスクリプト言語と相性が良く、適切に利用するとRDBと比較し驚くほど高速なプログラムを組むことができます。昨年尊敬する先輩にコードレビューで斧100本くらい(レビューコメント)投げられて血まみれになりつつ学んだことを、まとめて書いてます。概要は『消えても良いデータならRedis』 Redisのメモリが溢れたら... （この話は事実ではなくファンタジーです。） 深夜電話で叩
ElastiCache + Redis に出てくる概念と、クラスタモードごとの違い - nyamadoriの日記
はじめに Web サイト表示速度向上の一環として、仕事で、ElastiCache + Redis によるキャッシュ層を導入する。 導入にあたり、ElastiCache + Redis で利用するノードタイプ（インスタンスタイプ）や、制限などの事前調査が必要になった。 ElastiCache + Redis は、ノードタイプやクラスタの種類によって、機能サポートが異なり、混乱するところが多々あったため、AWS のドキュメントを参考に、分かりにくいところをまとめた。 これから導入する段階なので、AWS のドキュメントの内容以上のことは書いていません。 運用についてとか、ハマったところなどの記述はありません。 内容におかしいところがあれば教えてください 概念 実際に使うかどうかに関わらず、シャードやレプリカという用語がバンバンでてくるので、まとめる。 参考: http://docs.aws.am
Redis Clusterメモ - Qiita
はじめに Redis cluster tutorialを読んだときのメモ。 雑多なメモ Redisのクラスタは、以下の機能を提供する。 複数のノード間でデータセットを自動的に分割する。 ノードが障害に直面したり残りのクラスタと通信できなくなったときに、操作を継続する。 ただし、マスターノードの大部分がダウンしているような状況では、Clusterは停止する。 二つのTCPポートを使用する。一つは、クライアントとの対話のための通常のポート、もう一つはノード間のクラスタバス通信で使用する。 クラスタバス通信は、誤り検出や、設定更新などの目的で行う。 クライアントとの対話のためのポート番号が6379の場合、クラスタバスのポートは16379となる。 オフセットは10000固定である。 Redisクラスタは、一貫性のあるハッシュは使わないが、ハッシュスロットと呼ばれるシャーディング形式を使う。 ハッシ
Redis Cluster のリシャーディングとorphaned masterの話 - CyberAgent エンジニア Advent Calendar 2014 2日目
redis_cluster.md Redis Cluster のリシャーディングとorphaned masterの話 （2019/04 追記 こちらの情報は非常に古く、またRC版での結果となります。記録として残していますが参考になさらないでください） CyberAgent エンジニア Advent Calendar 2014 2日目です。 昨日に引き続き、秋葉原ラボの柿島が担当します。仕事ではHadoopクラスタの運用を中心に、秋葉原ラボのインフラ/ミドルウェアまわりを担当しています。今年はHadoop、mesos、Aerospikeと分散型のシステムを触る機会が多い1年でした。 この記事のテーマはRedis Clusterです。Redis Clusterが使えるようになるRedis 3.0.0は10月にRC1がリリースされました。2015年のQ1にstableリリースを目指しているようで
Redisの監視/分析系ツールまとめ « Rest Term
Redis関連の監視/データ分析系ツールについてメモしておきます。 随時追記予定。実務で有用なツールが他にありましたら教えていただけると嬉しいです。 環境 CentOS 5.9, Ubuntu 12.04 (x86_64) Redis 2.6.10 (※ CentOSの6.x系への移行は足踏み状態。相当大変ですよね。。) 以下の順に紹介していきます。 Redisコマンド Redis Sentinel Redis Live Redis Faina Redis Sampler redis-top Nagiosプラグイン Zabbixテンプレート Muninプラグイン Cactiプラグイン 最後のCactiプラグイン以外は実際に導入して試してみました。以降、見出しに各プロダクトへのリンクを貼っておきます。 Redisコマンド ツール紹介の前にまずは基本から。Redisには監視やデータ解析用途で使
GitHub - SawdustSoftware/disredis: Distributed Redis. Can be used in place of a StrictRedis client. Enables real-time failover of redis masters to paired slaves for improved reliability.
======================== Distributed Redis client ======================== Distributed Redis Client (disredis) to enable real-time failover of redis masters to paired slaves, providing improved availability and reliability where needed. The DisredisClient class can be used in place of a StrictRedis client. Instead of passing the host and port in, pass in a list of Sentinel addresses in the form of
Redis Sentinelを運用してみたお話 | GMOメディア エンジニアブログ
こんにちは、宇津井です。 弊社ではゲソてんというゲームプラットフォームを運営しております。ゲソてんではサービスリリース当初から主にキャッシュ的な役割でRedisを導入していました。つい先日の事ですが訳あってRedis 2.6からサポートされたRedis Sentinelを採用しました。今回は、採用に至った経緯をご紹介します。 簡単なシステム構成 パフォーマンスは良いし、Memcachedには無い便利な機能を提供するRedisですが約一年間運用していくつかの問題が出てきました。 Redisサーバーが突然高負荷に陥るするとWebサーバーも高負荷に陥るRedisのReplicationは張ってるけどアプリケーション側でRedis Slaveへフェイルオーバーしない（MySQLを直接参照する）Redis落ちると恐らくMySQLサーバーが耐えられない（落ちた事無いけど）という事で対策を行ってきました
Redis with an SSD swap, not what you want - <antirez>
Hello! As promised today I did some SSD testing. The setup: a Linux box with 24 GB of RAM, with two disks. A) A spinning disk. b) An SSD (Intel 320 series). The idea is, what happens if I set the SSD disk partition as a swap partition and fill Redis with a dataset larger than RAM? It is a lot of time I want to do this test, especially now that Redis focus is only on RAM and I abandoned the idea of
Redis Sentinelを動かしてみた · さよならインターネット
January 24, 2013 以前、Redis Sentinelを試すというエントリーを書きましたが もう少し入り込んで検証してみた。 殴り書きの域を出ていないので適時アップデートしていきたい。 検証環境 DATE: 2013/01/25 CentOS 6.3 Redis 2.6.9(remi) ドキュメント http://redis.io/topics/sentinel こちらを参考に行います。 Sentinelの設定、および起動方法 $ /usr/local/bin/redis-server /etc/sentinel.conf --sentinel [28498] 25 Jan 01:28:24.447 * Max number of open files set to 10032 _._ _.-``__ ''-._ _.-`` `. `_. ''-._ Redis 2.6.9
Redis Crashes - <antirez>
Premise: a small rant about software reliability. === I'm very serious about software reliability, and this is not just a good thing. It is good in a sense, as I tend to work to ensure that the software I release is solid. At the same time I think I take this issue a bit too personally: I get upset if I receive a crash report that I can't investigate further for some reason, or that looks like alm
Resque でジョブの実行に失敗したとき通知などをする機構の作り方 / How to write resque's failure backend - @kyanny's blog
(English version is written after Japanese version) Resque には失敗したジョブを Redis に貯めておいてエラー内容を確認したりジョブをリトライさせられる機能がある。これは Failure Backend というメカニズムで成り立っている。ジョブが失敗したらメールで通知するシンプルな Failure Backend を作りながら、このメカニズムへの理解を深めてみよう。 独自の Failure Backend を利用する手順はこうだ。 Resuqe::Failure::Base を継承したクラスを作る save メソッドを定義してその中で何か面白いことをする (メールを送るとか) Resque がその Failure Backend を利用するように設定する 例としてジョブの失敗内容をメールする Failure Backend はこ
Pyresを使ってみた | hexacosa.net
pyresって pyres は Redis をバックエンドに使った、ジョブキューサービスを 提供するPythonモジュールです。 ワーカに実行させたいジョブをあらかじめ登録しておき、 実行したい時にエンキューして使います。 同じような用途のモジュールには Celery なんかがあります。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redis-Commander
GitHub - sripathikrishnan/redis-rdb-tools: Parse Redis dump.rdb files, Analyze Memory, and Export Data to JSON
Samuel Clay on Twitter: "@antirez Redis is dying on background saves: http://t.co/CVEQHvY1EM. Kind of killing NewsBlur right now. Know any immediate fixes?"
GitHub - andrewzeneski/retwis-pytor: Retwis Python (Tornado) Clone
Edis: Implementing Redis in Erlang
Edis
Dirty Hacks and Programming: Redis Memory Usage Benchmark