Flickr: Redis Sentinelの導入 - ワザノバ | wazanova
http://code.flickr.net/2014/07/31/redis-sentinel-at-flickr/ 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 36分前 Flickrがエンジニアブログで、Redisのマスター障害復旧を自動化するためにRedis Sentinelを導入した経験を紹介しています。 Redisのユースケース 本番サービスに影響を与えないように、写真のアップロード / ユーザ通知 / メタデータの編集などの重たいタスクは、Redisのキューに送られて、非同期でオフライン処理されている。 クリティカルなタスクなので、99.9999%が処理（100万件のうち1件以下）され、99.995%の時間は稼働（月に停止が2分を超えない）させる必要がある。 もし、マスターが落ちると、復旧は手動対
RedisをSentinel構成で運用しているときのSlaveノードの切り離し - 元RX-7乗りの適当な日々
RedisでSentinelを使った構成で組んでいると、レプリケーションの制御をSentinelがよしなにやってくれるんだけど、あるSlaveノードを永久に切り離したいってなった時に、どうやるかって話。使っているバージョンは2.8系(下記のテストで利用したのは2.8.7。) 結局、ベストなやり方がわからないのだけど、以下のような感じで実施している。(いいやり方があれば教えてください。) 問題 通常、Redisでレプリケーションの解除は、 $ redis-cli slaveof no one"SLAVEOF no one"コマンドを使うと良いのだけど、これだけだとSentinelが保持しているスレーブノードの情報は保たれたままなので、しばらくするとSentinel君が、レプリケーションが切れていることを検知して自動で再開してくれるような挙動になる。 なので、Sentinelからスレーブノード
Redis(2.8系)の基本オペレーションとかSentinelの挙動とかの色々メモ - 元RX-7乗りの適当な日々
最近必要に迫られて、ようやくRedisをインストールして触ってみました。(Redis童貞からの脱却) 色々と、基本部分ではあるけど、せっかく実際に触りながら勉強したので、このエントリにメモしておこうと思います。 尚、使ってみたRedisのバージョンは、stableの最新版である2.8.7です。(OSは、LinuxのCentOS 6.5) ちなみに、このエントリに書いていないような、Redisの基本的なアレコレについては、WEB+DB Press Vol.73のRedis特集(2.6向けではありますが)にほとんど書いてあるので読むべし。 WEB+DB PRESS Vol.73 作者: 設樂洋爾,白土慧,はまちや2,大和田純,松田明,後藤大輔,ひろせまさあき,小林篤,近藤宇智朗,まかまか般若波羅蜜,Mr. O,川添貴生,重国和宏,柳澤建太郎,奥野幹也,佐藤鉄平,後藤秀宣,mala,中島聡,堤智
Redis 2.8 の Sentinel の動きを検証してみた - chrone's external storage
Redis 2.8 の redis-sentinel によるレプリケーションの自動フェイルオーバーについて、 比較的発生しそうな障害を想定して動作検証してみました。 結論から redis-server の自動再起動を構成している場合は要注意。 daemontools とか。 Master が落ちた後すぐ(例えば数秒)に再起動してきた場合、 再び Master としてレプリケーションに参加します。 よって、Master 再起動の前後でデータに差異があった場合でも、 再起動後のデータをもとに同期される為、データが破壊される可能性があります。 これを回避する為には、Sentinel により sdown/odown として認識されるのを待ってからインスタンスを復帰させるようにします。 復帰が早すぎると、障害(sdown/odown)ではなく再起動(reboot)と認識します。 レプリケーションの再
redis-sentinel管理のredisを手動failoverさせる - 時計を壊せ
やんごとなき理由でredis-sentinel管理のredisのmasterを再起動したくなって、 手動failoverのやりかた調べてたら公式のドキュメントにちゃんと書いてあった。 公式のドキュメントちゃんと読まないとダメだ。 適当なsentinelに入って、 redis 127.0.0.1:26379> SENTINEL failover <master name>としたら良い感じにfailoverしてくれた。 redis-sentinelべんり。 configファイルのmasterのIPも新しいものに変えておかないと次回sentinelを再起動したタイミングで狂うので忘れずに換えて置かなければならないのだけ注意したい。 というか先にconfigのIP変えてから手動failoverしたほうがいいかもしれない。 参考: http://redis.io/topics/sentinel
『redisをsentinelとAliasIPを利用して冗長化』
どうも初めまして2012年度入社の社内ニート予備軍editnukiです。 普段は引きこもって WebSocketで監視もリアルタイムに を書いた社内ニートさんの下でコミュニティサービスのインフラをやっております。 運用面以外ではrpmパッケージ作ったりしています。 さて、本題ですがコミュニティサービスでもredisを利用したいという声が最近多くなりいくつかのサービスではredisを導入しているのですがマスターとなるredisが死ぬと更新系が一切できなくなるため、マスターが死んだ時はアプリの向き先をスレーブに変更しなければなりません。 今までのredisの構成としては下図の様な構成でした。 redisの2.6系がリリースされた時に「sentinel」というフェイルオーバーの機能が追加されました。 詳細は公式ドキュメントをご参照ください。 フェイルオーバーしたとしてもアプリ側にマスターが切り替
Redis Sentinel で冗長構成を組む際の注意点 : DSAS開発者の部屋
KVS界隈ではすっかりおなじみ(?)のRedisですが、当社でも徐々にそのニーズが高まってきました。 標準機能として、レプリケーション、Pub/Sub、ソート等の便利機能が満載のRedisですが、サービスに投入する際に冗長構成をどう組むかといった点が気になっている方もいるのではないでしょうか。 まだまだ検証中ではあるのですが、Redisに実装されているRedisSentinelを用いて冗長構成を組んだ際にハマった所をご紹介したいと思います。 RedisSentinelとは Redisに標準実装されている機能の一つで、Redisのステータス監視、通知、自動フェイルオーバーが行なえます。 詳細な仕様、設定に関しては以下のドキュメントをご確認下さい。 http://redis.io/topics/sentinel RedisSentinel導入前の構成 特に何の変哲も無い構成です。 Redisサ
redis sentinelの動きを軽く追ってみる
4) チェックしているマスターのステータスがSDOWN, FAILOVER_IN_PROGRESSだったら、他のsentinelにis-master-down-by-addrを投げて問い合わせる。これ、「このsentinelは自分のマスターがダウンしていると認識しているかどうか(=MASTERDOWN)」を判定して格納してるように見える(sentinel.c: sentinelAskMasterStateToOtherSentinels) 5) ここでSDOWNしているかどうかの判定関数を呼ぶ(sentinel.c: sentinelCheckSubjectivelyDown) 6) last_avail_timeと現在時刻の差がdown_after_millisecondsを超えていたらSDOWN判定。 7) 自分がSDOWNとしている場合、他のsentinelがSDOWNと判定している
Redis Sentinelを運用してみたお話 | GMOメディア エンジニアブログ
こんにちは、宇津井です。 弊社ではゲソてんというゲームプラットフォームを運営しております。ゲソてんではサービスリリース当初から主にキャッシュ的な役割でRedisを導入していました。つい先日の事ですが訳あってRedis 2.6からサポートされたRedis Sentinelを採用しました。今回は、採用に至った経緯をご紹介します。 簡単なシステム構成 パフォーマンスは良いし、Memcachedには無い便利な機能を提供するRedisですが約一年間運用していくつかの問題が出てきました。 Redisサーバーが突然高負荷に陥るするとWebサーバーも高負荷に陥るRedisのReplicationは張ってるけどアプリケーション側でRedis Slaveへフェイルオーバーしない（MySQLを直接参照する）Redis落ちると恐らくMySQLサーバーが耐えられない（落ちた事無いけど）という事で対策を行ってきました
Redis Sentinelが動いていたらslaveof no oneしない · さよならインターネット
March 20, 2013 色々とあれだったのでシンプルにキメうちにしました thanks: @sawanoboly update: 2013/03/22 環境 Redis version 2.6.7 Redis Sentinelは Monitoring 、 Notification 、Automatic failover の3つの機能があって、主に自動フェイルオーバ目的で利用する機会が多いと思うのですが その際に、手動でslaveof no oneを打っちゃうことで予期しない状態になるので slaveof no one打つならRedis Sentinelを止めてからにしましょう。 事前情報 こんな感じでredis-sentinel.confが設定されているとします 構成: Master:1 <=> Slave:1 sentinel monitor check_one 192.168.2
Redis + Sentinel で自動フェイルオーバ in Amazon VPC を試してみた - matetsuだもんで
お久しぶりです。 最後にブログを更新したのがInternal ELBが登場して勢いで書いた6月11日。。。更新してなさすぎですね。 そこで今回試してみたのは、Redis + Sentinelの自動フェイルオーバをAWS VPC環境で実現するというものです。 元々は「 RedisをKeepalivedでフェイルオーバーする構成案 - 酒日記 はてな支店 」を参考にして構築しようと考えていたのですが、VPC(というかAWS)の環境ではbroadcastやmulticastが使用できないので、VRRPが使えず断念。そこで少し途方にくれつつ考えたのが、Sentinelを使う方法。 Redisについては特に説明は必要ないと思いますので、Sentinelについて簡単に。 監視: masterやslaveが期待通り動いているかどうかを定期的に監視 通知: 指定したログレベルのものが発生した時に、管理者や
Redis Sentinelを動かしてみた · さよならインターネット
January 24, 2013 以前、Redis Sentinelを試すというエントリーを書きましたが もう少し入り込んで検証してみた。 殴り書きの域を出ていないので適時アップデートしていきたい。 検証環境 DATE: 2013/01/25 CentOS 6.3 Redis 2.6.9(remi) ドキュメント http://redis.io/topics/sentinel こちらを参考に行います。 Sentinelの設定、および起動方法 $ /usr/local/bin/redis-server /etc/sentinel.conf --sentinel [28498] 25 Jan 01:28:24.447 * Max number of open files set to 10032 _._ _.-``__ ''-._ _.-`` `. `_. ''-._ Redis 2.6.9
Redis Sentinelを試す · さよならインターネット
January 15, 2013 某社ではRedisをKeepalivedでフェイルオーバーする構成案 / 酒日記 はてな支店 みたいな構成が使われているとか使われていないとかで、Sentinelはどうなのだろうか というお話がわいたので、カジュアルに試してみました。 参考：Redis Sentinel Documentation 6379 Port が Master 6380 Port が 6379のSlave 上記内容のRedisのセットがあるとします。 [hoge@example ~]# [hoge@example ~]# redis-cli -p 6379 info | grep role -3 latest_fork_usec:340 # Replication role:master connected_slaves:1 slave0:127.0.0.1,6380,online
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
re-principia-ca.md