2017年1月現在、ビッグデータ処理プロジェクトoceanusは下記のようなデータの流れをしています。 GEK上でDockerを使ってアプリケーションを構成していますが、Redisのリスト型、pubsub型に加えて、最近RabbitMQも使い始めたので、どう使い分けしているかを整理してみる。 Redis list型 順番を持ったリストで、左から入れたり、右から入れたり、逆に取り出したりすることができる。 リスト型 — redis 2.0.3 documentation 用途 データを失いたくない1対1のデータ処理。 oceanusでは、armsでHTTPリスエストをバリデーション等をした後にlistに保存し、r2bq(Redis to BigQueryの略)が取り出して、BigQueryに保存している。 BigQueryに保存したらもう必要がなくなり消えるので、基本的にRedisに保存され
![RedisのlistとpubsubとRabbitMQを使い分けを考える - GAミント至上主義](https://cdn-ak-scissors.b.st-hatena.com/image/square/ac60ccfb81add2d9cff004a8cace81286742730d/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fu%2Fuyamazak%2F20170120%2F20170120102719.png)