データ階層化による Amazon MemoryDB for Redis クラスターのコスト最適化 | Amazon Web Services
Amazon Web Services ブログ データ階層化による Amazon MemoryDB for Redis クラスターのコスト最適化 この記事は Roberto Luna Rojas と Karthik Konaparthi、 Qu Chen によって投稿された Scale your Amazon MemoryDB for Redis clusters at a lower cost with data tiering を翻訳したものです。 Amazon MemoryDB for Redis は、インメモリパフォーマンスとマルチ AZ 耐久性の両方を提供する Redis 互換のデータベースサービスです。MemoryDB は、ユーザーセッションデータ、マイクロサービス間のメッセージストリーミング、支払い処理、ゲームランキング、モノのインターネット (IoT) など、耐久性のあるス
実践Redis入門 技術の仕組みから現場の活用まで | 技術評論社
概要 インメモリデータベース、Redisの解説書です。 Redisは高速な応答性などからRDBMSでは対応しきれないデータの格納などに用いられます。高速さと柔軟さを併せ持ち、数多くのプログラミング言語から利用できます。 RDBMSの前段に配置してキャッシュとして用いるときの圧倒的な応答性能、Redisの多様なモデルによるアプリケーションからの扱いやすさなどで人気を集めています。リアルタイムの処理や高速なサービスが求められるWebサービスで特に支持を得ています。 本書では、このRedisを基礎から実践まで解説します。体系的な知識が身につき、アプリケーション開発や運用、トラブルシューティングがこなせるようになります。 目次 1 はじめてのRedis 1.1 Redisが使われるまで 1.2 Redisの特徴 1.2.1 Redisの動作イメージ 1.2.2 Redisはほかのデータベースとどう
Redisの25倍のスループットDragonflyを試してみる
インメモリデータストアを現代風に再実装したら? 高速なデータアクセスのためのインメモリデータストアとしては、RedisやMemcachedが有名です。ただし、これらは10年以上前に設計されており、Memcachedに至っては、2003年と約20年前です。 長い年月を経て、機能追加や最適化が進む一方で、どうしても設計の古さも目立ってきます。 その課題を解決すべく開発されたのがDragonfly です。 全ての操作がアトミック 高スループットでもミリ秒未満のスループット を目指し、Redis/Memcached互換なAPIを提供します。 Redisの25倍のスループットを誇り、1インスタンスで百万オーダーのQPSをさばけます。 開発者が実施したAWS EC2上のベンチマークによると、Dragonflyは本家RedisやRedisのマルチスレッドforkであるKeyDBよりも圧倒的なスループット
AWS、インメモリデータベース「Amazon MemoryDB for Redis」発表
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS、プライマリーDBとして使える耐久性を備えたインメモリデータベース「Amazon MemoryDB for Redis」発表」（2021年8月23日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 AWSは、プライマリーデータベースとしての使用に耐える耐久性を備えたRedis互換のインメモリデータベース「Amazon MemoryDB for Redis」を発表しました。 インメモリデータベースは全てのデータをメモリ上に保持するため、非常に高速なデータベースアクセスを実現する利点を備えています。 反面、データがメモリ上にあるため、HDDやSSDなどにデータを保存する一般的なデータベースに比べて、サーバに障害が発生した場合にデータを失う可能性が高いというデメリットがありました。 そのため一般にインメ
AWS、プライマリDBとして使える耐久性を備えたインメモリデータベース「Amazon MemoryDB for Redis」発表
AWS、プライマリDBとして使える耐久性を備えたインメモリデータベース「Amazon MemoryDB for Redis」発表 AWSは、プライマリデータベースとしての使用に耐える耐久性を備えたRedis互換のインメモリデータベース「Amazon MemoryDB for Redis」を発表しました。 Say later to latency. With Amazon MemoryDB for Redis, tap into flexible Redis data structures and achieve microsecond read latency and single-digit millisecond write latency—all while durably storing mission-critical data. https://t.co/o4AcmBlDCV
How I Built a Cross-Platform Desktop Application with Svelte, Redis, and Rust | CSS-Tricks
How I Built a Cross-Platform Desktop Application with Svelte, Redis, and Rust At Cloudflare, we have a great product called Workers KV which is a key-value storage layer that replicates globally. It can handle millions of keys, each of which is accessible from within a Worker script at exceptionally low latencies, no matter where in the world a request is received. Workers KV is amazing — and so i
Last Mile Redis
Fly runs apps (and databases) close to users, by taking Docker images and transmogrifying them into Firecracker micro-vms, running on our hardware around the world. You should try deploying an app, right now: it only takes a few minutes. 100 milliseconds is the magic number. For a backend application, a sub-100ms response time is effectively instantaneous, and people love using “instant” apps. Sin
How we scaled the GitHub API with a sharded, replicated rate limiter in Redis
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
Redisをグラフィカルに確認できるRedisInsightでElastiCache Redisのメモリ分析してみた | DevelopersIO
こんにちはコカコーラ大好きカジです。 今日は、Redisの状況をグラフィカルに確認できるRedisInsightをEC2にインストールして、ElasitCache Redisを分析してみました。 前提条件 以下を構築済みであることとします。 VPC ElastiCache 構成図 オンラインとオフライン2つの手法で分析できます。 RedisInsight構築手順 RedisInsight用のEC2 IAM Role作成 RedisInsight-EC2Roleという名前で作成し、以下の2つのマネージドルールをアタッチします AmazonS3ReadOnlyAccess AmazonElastiCacheReadOnlyAccess EC2インスタンスを起動 ElastiCacheと同一VPCのインターネットアクセス可能なサブネットにEC2インスタンスを作成します。 詳細な構築方法は省略しま
Redis Labs、強い一貫性を保ちつつRedisを高可用クラスタ化する「RedisRaft」発表
インメモリキーバリューストアのRedisを開発するRedis Labsは、複数のRedisをクラスタ化することで高い可用性を実現しつつ、クラスタ内で強い一貫性の保持を実現するクラスタ化ソフトウェア「RedisRaft」を発表しました。 Introducing RedisRaft, a new strong-consistency deployment option for Redis in beyond-cache scenarios requiring a high level of reliability and consistency. #RedisRaft https://t.co/2l5dmiVFpk — Redis Labs (@RedisLabs) June 23, 2020 Redisはメモリ上でキーバリューデータを扱うインメモリデータベースで、その高速性が大きな特長です。
MySQLでredis storage engineを作った - tom__bo’s Blog
MySQLのストレージエンジンはplugableになっていて、APIを実装すれば自作のストレージエンジンを組み込むことができる。 ということで、試しにRedisをストレージエンジンとして使うRedis Storage Engineを作りました。 github.com 途中で飽きてしまった ちまちま実装するよりC++の勉強とInnoDB読んだほうが良さそうと思ったので、お蔵入りするつもりでしたが、Yahoo! Japanでストレージエンジンを研究開発しているという話で個人的に盛り上がったので、改めて作ったところまでを見直して、整理しておこうという趣旨です。 実装したものはCREATE TABLEとDMLがある程度カバーされたおもちゃですが、自作ストレージエンジン開発のためのドキュメントはなくなっていく一方なので(MySQL internal documentを含む既存のドキュメント・ブログ・
Memorystore for Redis のパフォーマンスを調整する際のベスト プラクティス | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 5 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Redis は最も一般的なオープンソースのインメモリ データストアで、データベース、キャッシュ、メッセージ ブローカーとして使用されます。統合されたオプションである Memorystore for Redis を使用して Google Cloud 上で Redis を実行するにあたっては、いくつかのデプロイ シナリオがあります。Memorystore for Redis を使用すると、管理コストをかけずに Redis のメリットを享受できます。 本番環境にリリースする前には、システムに対して特定のワークロードの特性に応じたベンチマークを実施することが重要です。これは、システムがマネージド サービスに依存している場合でも同様です。ここでは、Memorystore for
Redis の Slave (Replica) の Expire は 4.0 RC3 以降信用して良くなっている - その手の平は尻もつかめるさ
maedama.hatenablog.com trapezoid.hatenablog.com 上記のブログには今から6年ほど前の当時の情報が記されていますが，Redis 4.0 RC3 以降の Slave (replica) の Expire は信用して良くなっているようです． Redis の公式ドキュメント (Replication – Redis) を参照すると， However note that writable replicas before version 4.0 were incapable of expiring keys with a time to live set. This means that if you use EXPIRE or other commands that set a maximum TTL for a key, the key will le
Redis 6.x の Threaded I/O 対応雑感 - アルパカDiary Pro
2020/5/6 追記 ベンチマーク結果に mset / sadd / zadd / hset / lpush / lrange 300 を追加しました Redis 6系がリリースされましたね！ mag.osdn.jp やはり気になったのは「マルチスレッド対応」という文字。 Redisといえばシングルスレッドでしたが、今回の対応がどういうものか？パフォーマンスにどの程度影響するのか？が気になったので軽く調べてみました。 redis.confの説明文 redis.confに THREADED I/O の頁が追加されています。 要約するとあくまで I/Oアクセスをマルチスレッド化 する対応のようです。 1 スレッド化なし／あり時の実際のプロセスの様子 io-threads=1の時 io-threads>1の時 スレッド表示OFF スレッド表示ON きちんとスレッド化されている様子がわかりますね
ElastiCache Redisのメモリ溢れが起きたときの挙動、正しく理解できてますか？？ | DevelopersIO
こんにちは(U・ω・U) ElastiCacheおじさんを目指して日々鍛錬を続ける深澤です。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 皆さん、ElastiCacheのRedisにどんどん情報を保存していって、メモリが溢れたらどんな挙動になると思いますか？ざっくりEvictionが発生してキーが削除されていくんじゃないの？と思われている方も多いかと思います。ですが実はそうとも限らないんですよ。今回はEvictionってなんだろう？というところから、メモリが溢れた場合の挙動について整理していきたいと思います。 Evictionとは？？ どんどんデータが保存されて行ってmaxmemoryに到達した際、発生する挙動です。ちなみにCloudWatchのメトリクスで検知が可能
ElastiCacheは良いサービス！！特徴や使い方をおさらいしましょ！ | DevelopersIO
こんにちは(U・ω・U) ElastiCacheおじさんを目指して歩みを続ける深澤です。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 皆さん、ElastiCache使ってますか？使ってますね。恐らくはAWSを触っている大多数の人は導入を検討される大変魅力的なサービスだと思います。ですが、実際にElastiCacheの導入に悩まれている方も多いと思います。そんな貴方にElastiCacheの魅力と使い方をお伝えしましょう。 どんな特徴があるの？ ElastiCacheはデータをノードのメモリに保存するので非常に高速でデータの出し入れが可能です。ですがメモリにデータを保存しているのでノードが落ちてしまう（再起動を含む）と中のデータが無くなってしまいます。なのでElasti
MySQLのslow_logは何を計測して出力されるのか - tom__bo’s Blog
slow logの時間は何を計測しているのか？ きっかけ とあるMySQLインスタンスで1Gbのネットワーク帯域を使い切ってレスポンスタイムが悪化していたという話を聞いた。 確かに遅いがlong_query_timeを小さくしてもslow_logは特に出ていなかったため、どのクエリが問題なのかを特定しづらかったらしい。 これを聞いたときはRedisとかインメモリのDBならまだしもMySQLがストレージより先に1GbのNICを使い切ることがあるのかーと驚いた。まあ、100GB以上のメモリも珍しくないので、ほとんどメモリから結果を返していれば1Gb/s以上返すことは難しくなさそうではある。 だが、long_query_timeを小さくしてもslow_logにクエリが出力されなかったという部分は気になった。 具体的にlong_query_timeがどれくらいなのか、同時接続数はどれくらいでQPS
いまさらGoでElasticache Redisの負荷・障害試験をがっつりしてみた
こんにちは、 株式会社アプリボット、バックエンドエンジニアの小川詩織です。 今回はgolangで開発中の新規プロジェクトのため、ElasticacheRedisに関する検証を行いました。 かなり長くなってしまいましたが、参考にしていただければ幸いです。 以下、検証内容になります。 まえおき 検証のための実装にはgolangを用い、 go-redisによるElasticache Redisについての検証になります。 また、ゲームで良く活用される Ranking機能 の実装を想定した検証を行いました。 Ranking機能実装のためにRedisは ソート済みセット型 を用います。 Ranking機能についての想定なので、同一ランキングはkeyも同一になり、 Shardを増やしても負荷分散できないため全て Shard=1 として検証を行います。 また、Redisの 要素数は1000万件 用意しまし
[レポート] Amazon ElastiCacheの新機能 #DAT323 #reinvent | DevelopersIO
本記事は、AWS re:Invent 2019 の「DAT323-R1 - [REPEAT 1] Whatʼs new with Amazon ElastiCache」についてレポートします。 セッション情報 スピーカー Nir Mashkowski - PM, Amazon Web Services Ruchita Arora - Senior Product Manager Tech, Amazon Web Services Itay Maoz - Senior Manager, Software Engineering, Amazon Web Services セッション概要 Since re:Invent 2018, the Amazon ElastiCache team has been hard at work innovating on behalf of customers
![[レポート] Amazon ElastiCacheの新機能 #DAT323 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redis ups JSON support and targets document database leaders - SiliconANGLE