TwilioのRedisによる決済サービスの障害、2つの原因 - unknownplace.org

Twilio というサービスで決済サービスの障害があったらしいが、恐しいことにこのサービス、 決済情報をRedisで管理していたらしい、というのをRedis作者、antirez氏のblogで知った。 Twilio incident and Redis - Antirez weblog この件に関しては、Twilio自体も 調査報告 を出している。簡単にまとめるとこういう感じだ: TwilioではRedisを single-master, multi-slave なレプリケーション環境で使用している ネットワーク障害で一時的に master-slave 間の接続が切れたことにより、master-slave間のデータの再同期が発生 この再同期がすべてのslaveに対して同時に発生したため、masterの負荷が高くなり、結果決済サービスの障害が発生 この負荷を解決するためmasterを再起動する

[hirose31]

2.6系でスレーブの自動再接続オフにしたい向きはこちら https://github.com/DeNA/redis/commit/8171a22d2f2c0f39c0db784b4c6a826849f89ba9

[kgrock]

TwilioのRedisによる決済サービスの障害、2つの原因

[masa-wo]

moon

[UDONCHAN]

なんと

[tmatsuu]

正直ウゲェ！WTF!と思った

[hoisjp]

面白い / TwilioのRedisによる決済サービスの障害、2つの原因 - http://t.co/6I94nf5MR1

[asonas]

ひぃ

[ukitazume]

「ウゲェ! 決済データをRedisで管理するなんてWTF!」

[nikutaiha]

あとで

[golden_eggg]

チャレンジング過ぎる...

[YukeSkywalker]

あーあるある＞設定だけしてconfに書かない/もって他山の石。

[serihiro]

Redis障害情報だ

[saiyazin2]

TwilioのRedisによる決済サービスの障害、2つの原因 - unknownplace.org

[lightnoovel]

TwilioのRedisによる決済サービスの障害、2つの原因 - unknownplace.org

[restartr]

どうにもスッキリしない報告ですが、とりあえずRedisの信頼性は高いのでオペレーションミスに気をつけよう…

[you21979]

永続的データで使うとかすごいな。自分はどういう壊れ方するかよくわからないので一時的なインスタンス情報とかキャッシュくらいにしか使ったことがない

[suginoy]

DBのクラスタ組むとこの手の不安はあるよねぇ。

[matsukaz]

決済データのストレージでRedisとか。。。

[koyancya]

うはー。よーやるわー。

[o_mega]

redisべんりだからなー

[terurou]

運用に問題があった雰囲気

[rryu]

気軽に再起動したらなんかすごいことになったという罠は意外とはまる。

[cu39]

運用事例として貴重。 antirez は以前から永続的データにも使えると主張してるよね http://oldblog.antirez.com/post/redis-persistence-demystified.html

[masa_w]

障害はともかく興味深い事例。

[kimutansk]

・・・非常にやりがちと言えばやりがちな誤りですね。

[i2key]

！！

[kowntaq]

TwilioのRedisによる決済サービスの障害、2つの原因 - http://t.co/ay9W2mngRl

[teppeis]

「「ウゲェ! 決済データをRedisで管理するなんてWTF!」みたいな意見もあるかもしれないが、append only ログを使った場合の Redis のデータ可用性は実はかなり高い。」

[rx7]

"append only ログを使った場合の Redis のデータ可用性は実はかなり高い。"