2017年1月現在、ビッグデータ処理プロジェクトoceanusは下記のようなデータの流れをしています。 GEK上でDockerを使ってアプリケーションを構成していますが、Redisのリスト型、pubsub型に加えて、最近RabbitMQも使い始めたので、どう使い分けしているかを整理してみる。 Redis list型 順番を持ったリストで、左から入れたり、右から入れたり、逆に取り出したりすることができる。 リスト型 — redis 2.0.3 documentation 用途 データを失いたくない1対1のデータ処理。 oceanusでは、armsでHTTPリスエストをバリデーション等をした後にlistに保存し、r2bq(Redis to BigQueryの略)が取り出して、BigQueryに保存している。 BigQueryに保存したらもう必要がなくなり消えるので、基本的にRedisに保存され
背景 現在、自社サービスで Redis を利用していることもあり、あらためて勉強、まとめてみました。 今回は、Redis の概要・特徴・設定・レプリケーションの基礎的な部分を記載しています。 ※間違いなどありましたら、ご指摘いただければ幸いです。 Redis の概要 この章では Redis の概要を記載しています。 Redis = REmote DIctionary Server の略です。 Redis は、Key-Value型 の NoSQL データベースです。 Redis は C 言語で書かれており、Open Source (BSD licensed) で開発されています。 Redis は Client-Server モデル を採用した インメモリデータベースです。 すべてのデータをコンピュータのメインメモリ上に展開しながら動作します。 他にも、インメモリDB として、 memcach
Redis を起動すると次のようなログが出力されることがある。 1:M 31 Aug 2020 12:36:07.554 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. これは残メモリが少ないときにバックグラウンドでの永続化に失敗することがあるので vm.overcommit_memory = 1 としといたほうがいいぞ、という内容であ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く