RedisをナイーブにQueueにするとデータロストする／可視性タイムアウトの役割 - hacomono TECH BLOG

はじめに 基盤本部で今後のhacomonoのアーキテクチャ設計をしている @bootjp と申します。 最近はマイクロサービス化に向けての社内共通のイベントバスの設計や基盤周りの設計/実装を行っています。 以前にはこのような記事を書き、分散システムや分散データベース、分散ストレージなどが大好きです。 「Goで作って理解するRaftベースRedis互換KVS」という同人誌も書いています。 もし興味のある方はお手にとってみてください。 さて、今回は分散システムやマイクロサービスで頻繁に用いられるQueueについて焦点を当てた記事を書きます。 とくにマネージドサービスを用いない環境では、RedisでQueueを実装してる方は多いのではないでしょうか？ しかし、ナイーブなQueueの実装には罠があり、データロストの危険性があります。 実例とともにデータをロストしないためには何が必要なのかをこの記事

[bopperjp]

可視性タイムアウトってそういう用途で使うのか。クラッシュまで想定して作るのって面倒だよなぁ。。例外だったら普通にsidekiqでも勝手にリトライしてくれるし。クラッシュは、、正直、ロストを許して欲しい。。

[fjwr38]

それはそう

[taruhachi]

Redis関係なかったし、Queueも関係なかった。

[onesplat]

もっとRedisの内部に踏み込んだレベルの高い話かと思ったら、そりゃそうだろ、という話だった

[Kazumi007]

参考になる

[bootJP]

書きました。 そのアプリケーションがQueueからメッセージを取得した後、クラッシュした時にどうなるか把握してますか？という話です。