Redis 本番障害から学んだコードレビューの勘所

Redis不適切利用による問題は本番運用が始まってから顕在化することが多く、時限爆弾みたいな存在です。事前に防ぐにはコードレビュー段階で叩くしかありません。 Redisはスクリプト言語と相性が良く、適切に利用するとRDBと比較し驚くほど高速なプログラムを組むことができます。昨年尊敬する先輩にコードレビューで斧100本くらい(レビューコメント)投げられて血まみれになりつつ学んだことを、まとめて書いてます。概要は『消えても良いデータならRedis』 Redisのメモリが溢れたら... （この話は事実ではなくファンタジーです。） 深夜電話で叩き起こされました。どうやらアクセス障害みたいです。 何人かで実機確認したら、まったくゲームが遊べない。データ不整合怖いのでメンテIN。 ほどなくしてRedisが溢れメモリ不足で新規書き込みが出来なくなっていると判明。サーバのメモリ容量は64GByteでこれ以

[sh-2]

不適切に使われたRedisは、たちの悪いグローバル変数と化す。よくわかる。

[daishi_n]

物事の本質を知らないアプリ開発者は不要。アプリ専業、インフラ専業が許されるのは駆け出しか究極レベルの人だけ

[michiomochi]

メモリ足りなくてサーバー落とすのはelasticsearchで経験した。とりあえず監視しとけば防げるので監視まじだいじ。

[moccos_info]

性質をわからず使って死ぬ人が増えてくるのは、普及した証拠かねー

[masahiko_of_joytoy]

コメントにもあるように、OOM Killerが働かなかったのが気になる。監視なしでvm.oom-kill=0にしてたのかな

[halfrack]

メモリ量だけは本当に本当に気をつけないと手詰まりになる

[kidnohr]

Redis はキャッシュでの利用ってことは、計算後のデータとかは別で取得できるようにしないといけないんやな。

[hamasyou_bot]

メモ: Redis 本番障害から学んだコードレビューの勘所 on @Qiita

[rryu]

アクセスの度に増える小さなデータみたいなのは洒落にならないくらいの件数が溜まらないと問題にならないので運用中に発覚するという。

[tinsep19]

RDBに保存さえ出来ていれば、障害起きてからコード書いても問題ないので必須の対応ではありません。>この割り切り惚れる

[koemu]

「Redisをストレージとして利用していないか確認」「ZRANGEBYSCOREを使っていない」などなど

[crist18]

qiita

[to_tu]

前回のshinjuku.rbにもつながる話が...

[Dai_Kamijo]

Redis 本番障害から学んだコードレビューの勘所 on @Qiita — Ryota Murakami (@malloc007) October 27, 2015 from Twitter https://twitter.com/Dai_Kamijo October 28, 2015 at 09:45AM via IFTTT

[iekusup]

おお！

[okbm]

ファンタジーでよかったなー(棒読み

[vanbraam]

"ZRANGEBYSCORE","keys *"は使わない,bigkeysが便利;ブコメとの"GO"のやりとり,よくわからなかったが,Fate/Grand Orderというゲームの話か

[seikoudoku2000]

ファンタジーで良かった。

[igrep]

“まさかgo? Go言語は利用していません”かわすところが怪しいw

[ledsun]

ストレージとして使うならストレージとして設計しましょう、って感じ。/Redisをストレージにしてバックアップの復旧手順を用意しない、RDBは用意しているって非対称の理由が気になる。RDSなのかな？

[habarhaba]

怖い話

[katzchang]

使用メモリのモニタリングって難しいんだっけ？

[diveintounlimit]

何か腑に落ちない感じ。だいぶ使い方によりそうな気がする。

[toyama0919]

Elasticacheなら垂直分割は楽です

[aodifaud09]

他社の手伝いでDB丸ごとRedisのソシャゲ組んだことある。怖くてしょうがなかった。

[sunsuk7tp]

うちはRedisをストレージとしても使ってるが、この部分は特にコードレビュー、モニタリング、障害検知を厳重化して、高可用化、バックアップの備えがあるからか、ここ数年大きな問題にはなってないな

[stealthinu]

「事実ではなくファンタジー」の話がおそろしくて良い。あと「参考」が「redis-cli.c」になってるのも血の涙感がある。

[tako-two]

最近便利で使ってるけど

[love0hate]

監視ないのか...

[ashitakaeruu]

基本は消えてもいいデータを使う

[koheisg]

1. KEYSコマンドやZRANGEコマンドで数万件以上にアクセスしてI/O待ちで落ちる

[luccafort]

実例に伴ったバッドTipsの共有、素晴らしい。