同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。 私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。 この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis
Redis Clusterについて
ノードごとに個別のディレクトリを作成し、既存の redis.conf をコピーして設定を行います。 # mkdir cluster-test # cd cluster-test/ # mkdir 7000 7001 7002 7003 7004 7005 # cp /etc/redis.conf 7000 # vi 7000/redis.conf # cp 7000/redis.conf 7001 # vi 7001/redis.conf ... # vi 7005/redis.conf 同サーバ上で動かすため、ファイル名が重複しないように適切に設定を行います。 port 7000 pidfile "/var/run/redis_7000.pid" logfile "/root/cluster-test/7000/redis.log" dbfilename "dump-7000.rdb"
redisをDockerコンテナで用意する - Qiita
127.0.0.1:6379> set test abc OK 127.0.0.1:6379> set room01 1000 OK 127.0.0.1:6379> keys * 1) "test" 2) "room01" 127.0.0.1:6379> get room01 "1000"
ElastiCache + Redis に出てくる概念と、クラスタモードごとの違い - nyamadoriの日記
はじめに Web サイト表示速度向上の一環として、仕事で、ElastiCache + Redis によるキャッシュ層を導入する。 導入にあたり、ElastiCache + Redis で利用するノードタイプ（インスタンスタイプ）や、制限などの事前調査が必要になった。 ElastiCache + Redis は、ノードタイプやクラスタの種類によって、機能サポートが異なり、混乱するところが多々あったため、AWS のドキュメントを参考に、分かりにくいところをまとめた。 これから導入する段階なので、AWS のドキュメントの内容以上のことは書いていません。 運用についてとか、ハマったところなどの記述はありません。 内容におかしいところがあれば教えてください 概念 実際に使うかどうかに関わらず、シャードやレプリカという用語がバンバンでてくるので、まとめる。 参考: http://docs.aws.am
RedisのCRUD - Qiita
redis 127.0.0.1:6379> set key val OK redis 127.0.0.1:6379> get key "val" データベースの選択 データベースは番号で管理され、名前をつけることはできません。 デフォルトでは0番のデータベースに接続されていますが、以下のように切り替えることができます。
OpenRestyからRedisに問い合わせるAPIのLuaのサンプル - Qiita
Nginxを拡張してLuaが便利なOpenRestyを使って簡単なAPIのサンプルを書いてみます。バックエンドのRedisに問い合わせてJSON形式でレスポンスを返します。LuaのRedisクライアントはlua-resty-redisを使っているようです。Luaで組み込みのプログラムが書けるので、リバースプロキシにも使うOpenRestyのところで、バックエンドのアプリのちょっとしたAPIの差異を吸収することができます。 プロジェクト 今回もサービスのオーケストレーションにはDocker Composeを使います。プロジェクトのディレクトリを作成してdocker-compose.ymlとnginx.confを作成します。 $ cd ~/openresty_apps $ tree . ├── docker-compose.yml └── nginx └── nginx.conf OpenRe
Spring BootでSpring Data Redisを利用する - Qiita
まずは動かす 依存関係の追加 mavenの場合pomにspring-boot-starterとspring-boot-starter-redisを追加する。 Spring Data デフォルトではJedisを利用してRedisにアクセスする。 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.3.0.M5</version> </parent> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> </dependency> <dep
Redis に保存されてる値を見ようと思った時に覚えておきたい redis コマンド | そんなこと覚えてない
設定したりもっと細かい作業をしたい場合は help コマンドを使う。 種類ごとのヘルプをみたい場合は @ をつけるとよい 例えばリスト関連のコマンドを知りたいなら > help @list といった感じ。 以下は解説 keys 登録されている key がわからないと何もできないので、keyの一覧をみる方法 > keys * 引数にはパターンを入力する hogeではじまるものに絞りこみしたい場合は > key hoge* とかする。shell の場合はアスタリスクはエスケープする必要があるのに注意 $ redis-cli keys \* type redis は key に格納された値の種類によって取得コマンドが違うらしい。 値をみるために種類の確認が必要。 hoge というキーがあった場合は > type hoge とする。 返す値としては string list set zset has
LINEの100億超/日メッセージを支える Redis・HBaseのスケールアウト・アップ戦略 #linedevday - Togetterまとめ
リンク linedevday.linecorp.com LINE DEVELOPER DAY_2015 Tokyo LINE DEVELOPER DAY_2015 Tokyo is a technical conference in which our teams of engineers share their various experiences and also address open issues. Shunsuke.N A-5 HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ HALL A 13:30 - 14:10 "LINEのメッセージングストレージとしての難しい要求に対して、RedisとHBaseを利用してどのように問題を解決してきたかについて紹介します。 最初にLINEでのストレージのユースケースを共有した上で、ストレージの可用性を
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
