同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。 私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。 この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis
1日約2.7兆のリクエストを、高いパフォーマンスと信頼性で処理 LINE Messaging PlatformのSREが高トラフィックを支える
LINEユーザーとビジネスの価値をつなぐためのSREとは、いったいどんなことをするのか。LINEの7つの領域から9名が登壇し、業務内容や体制、開発における課題、働く個々人のやりがいなどについて話します。加藤亙貴氏は、LINE Messaging PlatformのSREについて紹介しました。 LINE Messaging Platformの構成 加藤亙貴氏：LINE Platform Development Center1 Messaging Platform Development室 Z Partチーム HBase Unitの加藤亙貴です。このセッションでは、分散ストレージリライアビリティエンジニアというポジションにおける、LINEプラットフォームのSREについて紹介します。よろしくお願いします。 今日はこのようなアジェンダに沿ってお話しします。始めに、LINE Messaging Pl
Redisに耐久性が加わったAmazon MemoryDB for Redisが登場 | DevelopersIO
MemoryDB はElastiCache の約1.5倍、Aurora の約1.2倍と若干高価です。 耐久性を重視するMemoryDBはElastiCacheで言うところの「クラスターモード」しか存在しないため、{シャード数} x {ノード数/シャード} x {インスタンス利用費} 分の利用費が発生する点にもご注意ください。 最後に Redisを永続的なデータストアとしても使える Amazon MemoryDB for Redis が爆誕しました。 データ耐久性のトレードオフとして書き込み速度は低下したものの、読み取りの速さはまさにRedisです。 クライアントはRedisコマンドを投げるだけで、MemoryDBが良しなにやってくれるため、使い勝手が良さそうです。 今後はDynamodB+DAXの代替として検討したり、RDB+キャッシュRedisなシステムを MemoryDB に集約すると
RedisとApache HBaseで高性能・高信頼性・高可用性なストレージを LINEアプリの大規模トラフィックを支えるストレージ
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこでLINE Z Part チーム シニアソフトウェアエンジニアのルカデテナ ハビエル アキラ 氏が、「LINEアプリにおける大規模トラフィックを支えるストレージ」について共有。前半はRedisとApache HBaseを使ったストレージについて紹介しました。 ルカデテナ ハビエル アキラ氏：ハビエル アキラ ルカデテナと申します。2017年からLINEのソフトウェアエンジニアとして働いています。今日は、LINEのメッセージングアプリケーションのトラフィック・インテンシブ・ストレージについてお話しします。 まずはメッセージングアプリケーションを紹介して、そのストレージの要件とApache HBaseでどうやってその
Elasticacheのレプリケーショングループ（Redis）で複数AZへの分散配置を「維持」できるようになりました | DevelopersIO
レプリケーショングループに対して、MultiAZEnabledという属性を付与できるようになりました。 この属性の意味を解説します。 中山です。 今日は、Elasticacheのレプリケーショングループ（Redis）で複数AZへの分散配置を「維持」できるようになった件をまとめてみました。 これまでの課題 これまでもElasticache(Redis)ではノードを複数のAZに分散して配置することはできました。 具体的には、SubnetGroupに異なるAZのSubnetを設定した上でReplicasPerNodeGroupに1以上を設定したり、手動でノードを追加する際にPrimaryのAZと異なるAZを指定することで分散配置することができました。 しかし、手動でノードを削除するなどして単一のAZにノードが偏る可能性を排除できていませんでした。 ただし、パフォーマンス要件を考慮して意図的に寄せ
Amazon ElastiCache Redis のクラスターを適切にサイジングする際に考慮すべき 5 つのワークロード特性 | Amazon Web Services
Amazon Web Services ブログ Amazon ElastiCache Redis のクラスターを適切にサイジングする際に考慮すべき 5 つのワークロード特性 この投稿では、Amazon ElastiCache ワークロードに適したノードサイズとクラスタートポロジを決定するプロセス、および考慮すべき重要な要素について説明します。この投稿は、Redis とそのコマンドについて十分な知識があり、Amazon ElastiCache for Redis とオンラインでのクラスターサイズ変更、スケーリング、Amazon EC2 から ElastiCache へのオンラインでの移行、汎用およびメモリ最適化ノード、強化された I/O などの機能を理解していることを前提としています。 基準の推奨事項 エントリーレベルの小規模 (2,000 件以下の TPS と 10 GB 以下のデータ
ElastiCacheでメモリ一斉開放はどのくらいCPU使用率が上がるのか検証してみた | DevelopersIO
こんにちは(U・ω・U) ElastiCacheおじさんを目指して日々鍛錬を続ける深澤です。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 まだ見習いです。 さて皆さんElastiCacheでメモリがモリモリになったご経験はありますでしょうか。運用をご経験された方には分かるかもしれませんがキャッシュでメモリ使用量がモリモリ成長していくのはとっても恐怖ですよね！！さて今回はそんなモリモリになったメモリを一斉に開放した時、ノードへの負荷がどうなるのか実際に検証してみました。 環境 ElastiCache for Redisに対してやってきます。ノードタイプですが、今回はcache.r4.largeを選択しました！搭載メモリは12.3GBですね。 ノードにデータを投入するには
ElastiCacheがリージョン間レプリケーションに対応！？実際にやってみた！！ | DevelopersIO
こんにちは(U・ω・U) ElastiCacheおじさんを目指して日々鍛錬を続ける深澤です。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 そんな僕に次のようなニュースが飛び込んできました。 なんと素晴らしいアップデート。ElastiCacheおじさんたるもの、世の中の皆様にElastiCache最新情報をお届けするのが務めというもの。今回はこの機能をご紹介したいと思います！ グローバルデータストアってどんな機能なの？ ElastiCacheクラスタに保存したデータを複数のリージョン間でレプリケーションできます。グローバルデータストアの主なコンポーネントは次の通りです。 プライマリ（アクティブ）クラスタ レプリケーション元となるクラスタです。通常のElastiCache
技術めも » redis
久しぶりにMariaDB以外のことを書いてみる。 Redis3.2のrdbファイルは、Redis4に持っていっても、なんの障害もなく移行できる。 リリースノートにも書いてあるし、実際に試してみたところ、問題なく移行でき、キー操作も問題ない。 移行先でAOFを無効化しているので、rdbファイルを移行しただけだが、 AOFを有効化している場合は、aofファイルから復元されるので、注意が必要。 https://raw.githubusercontent.com/antirez/redis/4.0/00-RELEASENOTES ※リリースノートの一番下に、移行についての説明が記載されています。 で、Redis4についてですが、 AOFが単なる追記型ファイルとしてでなく、一定時点のスナップショット＋追記、という形式（MIXED）に生まれ変わりました。 これにより、Redis3ではすごい速さで肥大化
Dive Deep Redis ~ 入門から実装の確認まで - hayashier Tech Blogs
--------------------------------------------------------------------------------------------------------------------------------------------------------- Redis(REmote DIrectory Server) Redisは例えば以下の特徴を持つLLOOGGを元としたインメモリの非リレーショナルのデータベースです。 String, List, Hash, Set, Sorted Setに代表される豊富なデータ型 シングルスレッド処理 イベント駆動処理 by aeライブラリ 通常RESPプロトコルによるクライアント/サーバーモデルでリクエスト/レスポンス データは条件を満たす場合にメモリ最適化されて保存。CPUとのトレードオフ RAXを
3分でRedisのpub/subを使ってみる【redis】 - DRYな備忘録
pub/sub オンメモリのKVSでありながら、なおかつディスクに永続化する機能も持つRedisですが、あるクライアントプロセスから別のクライアントプロセスへ通知を送る、いわゆる「pub/sub」も提供しています。 「pub/sub」とは「publish」と「subscribe」の略で、日本語訳するなら「発行」と「購読」。あるチャンネルに誰かがイベントを「発行」すると、そのチャンネルを「購読」している人すべてにそのイベントが通知される、といった意味。 ゴール 3分でredisのpub/subを体験してみる redisのインストールなどは MacにRedisをインストールしてことはじめ【redis】【MacOS】 - DRYな備忘録をご参考。 登場人物 redisサーバプロセス redisクライアントプロセス その1 redisクライアントプロセス その2 で、クライアントその1がSUBSC
Redisのストリームについて - じゃあ、したためておきます
ConsumerGroupから読み込んでAckを返していないデータ(Pendingに溜まっている)がある状態でStreamからデータを消すとどうなるの？
Tinder における大規模な回復性構築のための Amazon ElastiCache の利用 | Amazon Web Services
Amazon Web Services ブログ Tinder における大規模な回復性構築のための Amazon ElastiCache の利用 この記事は、Tinder 社の William Youngs 氏 (ソフトウェアエンジニア) 、Daniel Alkalai 氏 (シニアソフトウェアエンジニア) 、Jun-young Kwak 氏 (シニアエンジニアリングマネージャー) らの寄稿によるものです。Tinder は、2012 年に大学のキャンパスで生み出され、世界で一番利用されているマッチングアプリに成長しました。現在までに、このアプリは 3 億 4,000万件以上ダウンロードされており、190 の国々において 40 以上の言語で利用されています。2019 年の第3四半期時点において、Tinder には 570 万人の登録者がおり、ゲーム以外のアプリの中では世界で最も成長しているもの
ElastiCacheのリーダエンドポイントを試してみた！ #reinvent | DevelopersIO
こんにちは(U・ω・U) AWS事業部の深澤です。 皆さん、ElastiCacheはお好きですか。僕は大好きです。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 さて、僕はそんなラスベガスで開催されたre:Invent 2019にて「Whatʼs new with Amazon ElastiCache」というセッションに参加してきました。 今回はここで紹介されていたリーダエンドポイントについて、以下の観点で調査を行ってみました。 ロードバランシング 接続中にノード障害が発生した場合の挙動 プライマリインスタンスに障害が発生した際に発生するリーダエンドポイントへの影響 まずは環境を準備した後、上記の観点について検証を行っていきたいと思います！！ リーダエンドポイントの特徴
[レポート] Amazon ElastiCacheの新機能 #DAT323 #reinvent | DevelopersIO
本記事は、AWS re:Invent 2019 の「DAT323-R1 - [REPEAT 1] Whatʼs new with Amazon ElastiCache」についてレポートします。 セッション情報 スピーカー Nir Mashkowski - PM, Amazon Web Services Ruchita Arora - Senior Product Manager Tech, Amazon Web Services Itay Maoz - Senior Manager, Software Engineering, Amazon Web Services セッション概要 Since re:Invent 2018, the Amazon ElastiCache team has been hard at work innovating on behalf of customers
![[レポート] Amazon ElastiCacheの新機能 #DAT323 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
ElastiCache (Redis)のクラスターモードの作成メモ - Qiita
概要 ElastiCache (Redis)のクラスターモードの作り方を確認した時のメモです。 環境 ElastiCache Redis 4.0.10 参考 [Redis 用 Amazon ElastiCache] (https://aws.amazon.com/jp/elasticache/redis/) [Amazon ElastiCache のドキュメント] (https://aws.amazon.com/jp/documentation/elasticache/?id=docs_gateway) [Command reference - Redis] (https://redis.io/commands) [Redis latency problems troubleshooting] (https://redis.io/topics/latency) [redis-cli, th
Amazon ElastiCache Redis の各パラメータについてまとめてみた ｜ DevelopersIO
おはようございます､加藤です｡Amazon ElastiCacheのRedisを利用する際に､どのように設計・設定すれば良いのかをまとめてみました｡ Redisとは RedisはOSSのインメモリ型キーバリューストアです｡ ちなみに名称はREmote DIctionary Server の略語です｡ Redisを扱うのが初めての方はまず下記のリンク先を読むことをおすすめします｡ Redis とは? - Amazon ElastiCache（キャッシュ管理・操作）| AWS ElastiCache for Redisとは AWSによって提供されるマネージドなRedisです｡Redisを使用してる既存のアプリケーションならばほとんど変更なしに移行することが可能です｡ キャッシュノードの障害の自動検出と復旧。 障害が発生したプライマリクラスターの、レプリケーションをサポートする Redis クラ
RedisサーバのCPU負荷対策パターン - ゆううきブログ
Redisは多彩なデータ構造をもつ1インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。 しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。 実際、最初にCPU負荷が問題になったときにどうしたものかと悩み、調査と試行錯誤を繰り返した。 そこで、この記事では、自分の経験を基に、RedisサーバのCPU負荷対策を「CPU負荷削減」「スケールアップ」「スケールアウト」に分類し、パターンとしてまとめる。 背景 RedisのCPU負荷対策パターン CPU負荷削減 multiコマンド Redisパイプライニング Luaスクリプティング Redisモジュール(夢) スケールアップ スケールアウト 参照用スレーブ 垂直分割 水平分割 Redis Clusterによる水平分割 その他 スライド資料 あとがき 参考資料 背景 R
手を動かして学ぶ Redis 入門
会社でRedisを使っているサービスがあり、そのメンテナーになった。RedisがIn-Memory Databaseということは知っていたのだが、その他の特徴や操作方法などまったくわからないので、チュートリアルを中心に手を動かしながら学んだことをまとめていく。またNode.jsからRedisにアクセスする方法もあわせて紹介する。 Redis の特徴 Redisはメモリー上にデータを保存するKey-Value型のNoSQLデータベースのひとつ。用途はデータベースだけにとどまらず、キャッシュやメッセージブローカーとしても利用される。 In-Memory Database RedisはIn-Memory Databaseなので、On-Disk Databaseと比べ非常に高速に動作する。ちなみにIn-Memory DatabaseとOn-Disk Databaseの違いは以下のとおり。 インメモ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
redis-cli コマンド操作まとめ - Qiita
