Redis互換サービスのGarnetにおけるメモリ消費とチェックポイント作成の注意点 - Qiita
はじめに プロトコルにRedis互換のものを使用したキャッシュストアサーバーとして、GarnetというプロダクトがMicrosoftからリリースされた。 使い方や性能評価はひとまず公式ドキュメントを参照してもらうものとして、試してみていくつか注意した方が良い設定というものがあったのでここに書く。 なお、Garnetではストレージ部分にFASTERをフォークしたTsavorite(元ネタは鉱石の一種らしい)を使っているので、ストレージ部分で何かわかりにくい所があったらFASTERのドキュメントも合わせてみると良い。 データ量の見積もり Garnetに限らずキャッシュストアでは、いくらメモリを消費するかという見積もりをするのはかなり重要になってくる。 以下ではインデックスと実際のデータのサイズについて書く。 なお、Garnetではバイトデータ等プリミティブ領域を格納するための領域(Store)
Redisがライセンスを変更、BSDライセンスからRSAL/SSPLデュアルライセンスに | gihyo.jp
Redisがライセンスを変更、BSDライセンスからRSAL/SSPLデュアルライセンスに Redisは2024年3月20日、次のバージョン（Redis v7.4）以降、これまで採用してきたBSD 3条項ライセンスから、RSALv2（Redis Source Available License）もしくはSSPLv1（Server Side Public License）のいずれかを選択するデュアルライセンスに移行することを発表した。 Redis Adopts Dual Source-Available Licensing | Redis Today, we announced that all future versions of Redis will be released with source-available licenses. Starting with the releas
neue cc - Redis互換の超高速インメモリデータストア「Garnet」にC# CustomCommandを実装してコマンドを拡張する
Redis互換の超高速インメモリデータストア「Garnet」にC# CustomCommandを実装してコマンドを拡張する 2024-03-19 MicrosoftからIntroducing Garnet – an open-source, next-generation, faster cache-store for accelerating applications and servicesという記事が今日公開されて、Garnetという新しいインメモリデータストアがOSSとして公開されました。Microsoft ResearchでFASTERを手掛けていたチームによるもので、FASTERはC#実装の高速なキーバリューストアでした。今回のGarnetはその発展形のようなもので、FASTERベースのストレージと、Redis互換のプロトコルによる、インメモリデータストアになっています。詳しく
ASP.NET Core SignalR × Redis でHubを冗長化 - Qiita
初めに ASP.NET Core SignalR の冗長化について調査する。 [参考]ASP.NET Core SignalR 概要 https://learn.microsoft.com/ja-jp/aspnet/core/signalr/introduction 課題 ネットワーク構成例は下図の通り。(HubServer = Hubの機能を有するサーバー) HubServerが停止したらシステムは成り立たなくなる。HubServerを冗長化したい。 答え：SignalRのバックプレーンに Redis を使用する 調査したところ、SignalRのバックプレーンに Redis を使用することでHubServerを冗長化ができそうなことが分かった。 [参考]ASP.NET Core SignalR のホスティングとスケーリング https://learn.microsoft.com/ja-j
「実践Redis入門」所感 ~「E.G.コンバット」の観点から語る~ | フューチャー技術ブログ
積読を消化しようというテーマの、読書感想文連載 の2冊目です。 導入『自分たちは、クラウドネイティブじゃなくてマネージドネイティブなんだよ…』 TIGの原木です。 最近、冒頭のような開発者の嘆きを人づてに聞く機会があり、今も脳裏に残り続けています。 昨今のITシステムにおいて、クラウドサービスは欠かせないものとなっています。しかしユーザー、そして開発者として大きな利便性を享受する裏で、クラウドサービスによって巧妙に隠蔽された裏のソフトウェアを意識する機会は減り続けているのではないでしょうか？ Webサービスにおいて、RedisやMemcachedに代表されるキャッシュサーバーもそのようなソフトウェアの1つです。 キャッシュサーバーは、Webアプリケーションなどデータの読み込みや保存を効率化するために欠かせない存在ですが、同じデータストアであるRDBMSなどと比較していま一歩隠れた存在だと思
Redisを使って検証環境を再起不能にした話 - NFLabs. エンジニアブログ
この記事は、NFLaboratories Advent Calendar 2022 4日目の記事です。 こんにちは、ソリューション事業部セキュリティソリューション担当の大沢です。 前回、NFLabs. エンジニアブログに『OpenCTIの日本語化にあたって』というタイトルで脅威インテリジェンスプラットフォームOpenCTIの話をさせていただきました。 今回はそのOpenCTIの検証中に検証サーバーをスクラップにした話をしようと思います。 教訓、あるいは TL;DR 『本番環境でやらかしちゃった人 Advent Calendar』を読もう！ 作業前のスナップショット作成は大事 Redisは自身のデータ領域以下のファイル・ディレクトリの所有者を全て UID=999 に変えてしまう ことの始まり OpenCTIは以下のリポジトリを git clone し、READMEに従って変数などを設定した後
Redisのジオメトリ機能 | フューチャー技術ブログ
地図・GIS・位置特定に関する連載の4日目のエントリーです。最初はブラウザの座標を取得するAPIとか、IPアドレスから場所を推定するGeoIPを使って、近い場所の人を探すサービスでも作ってみようかと思っていました。Quad-Treeみたいなゲームでよくある座標系を収めるデータ構造を使って、近くのメンバーを探す機能とかを作ろうと思っていましたが、ふと「座標系をそのまま格納して検索できるデータベースとかありそうだな」と思って調べたところRedisがヒットして横道にそれてしまったのでそのまま横道を突き進んでみました。 Redisは2010年ぐらいに有志でドキュメント翻訳したりしたりして、チョットワカル程度でしたが、久々にドキュメントを見ていたら座標情報を保持したり検索したりするコマンドが増えていました。その辺りを少し調べてみました。 Redisのジオメトリ機能Redisのジオメトリ関係のコマンド
Redisの25倍のスループットDragonflyを試してみる
インメモリデータストアを現代風に再実装したら? 高速なデータアクセスのためのインメモリデータストアとしては、RedisやMemcachedが有名です。ただし、これらは10年以上前に設計されており、Memcachedに至っては、2003年と約20年前です。 長い年月を経て、機能追加や最適化が進む一方で、どうしても設計の古さも目立ってきます。 その課題を解決すべく開発されたのがDragonfly です。 全ての操作がアトミック 高スループットでもミリ秒未満のスループット を目指し、Redis/Memcached互換なAPIを提供します。 Redisの25倍のスループットを誇り、1インスタンスで百万オーダーのQPSをさばけます。 開発者が実施したAWS EC2上のベンチマークによると、Dragonflyは本家RedisやRedisのマルチスレッドforkであるKeyDBよりも圧倒的なスループット
[.NET 6] 認証情報を redis に保持しログアウト時に無効化する - Qiita
最近認証回りをちょこちょこ調べていて、しばやんさんの記事をベースに .NET 6 でおためし ASP.NET Core アプリケーションのログアウト時に認証クッキーを確実に無効化する やりたいこと 認証情報を redis に保持する ログアウト時に redis の値を削除し認証情報を無効にする 環境 Visual Studio 2022 / .NET 6 redis on docker モジュール構成 Sample.csproj └ Controllers └ AccountController.cs └ ValuesController.cs └ RedisSessionStore.cs └ Program.cs public IActionResult Login() { var claimsPrincipal = new ClaimsPrincipal(new ClaimsIdent
![[.NET 6] 認証情報を redis に保持しログアウト時に無効化する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f28b6cc00b8c0d33849c26bf3eb40f8744ecbb58/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCLk5FVCUyMDYlNUQlMjAlRTglQUElOEQlRTglQTglQkMlRTYlODMlODUlRTUlQTAlQjElRTMlODIlOTIlMjByZWRpcyUyMCVFMyU4MSVBQiVFNCVCRiU5RCVFNiU4QyU4MSVFMyU4MSU5NyVFMyU4MyVBRCVFMyU4MiVCMCVFMyU4MiVBMiVFMyU4MiVBNiVFMyU4MyU4OCVFNiU5OSU4MiVFMyU4MSVBQiVFNyU4NCVBMSVFNSU4QSVCOSVFNSU4QyU5NiVFMyU4MSU5OSVFMyU4MiU4QiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MzliY2E3YzYzNDNlNzc5ODM2OThkYzYxMjVjYTkzYmI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBwaTJqaTc5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wMjEwNjRiN2E4MmFhOGU1ZmQ2OWFiMWQ5YjE3NzhmYQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dd77ed30a82bc829f40af420a4a88e8b3)
neue cc - AlterNats - ハイパフォーマンスな.NET PubSubクライアントと、その実装に見る.NET 6時代のSocketプログラミング最適化のTips、或いはMagicOnionを絡めたメタバース構築のアーキテクチャについて
タイトルはここぞとばかりに全盛りにしてみました！今回NATSの.NETクライアント実装としてAlterNatsというライブラリを新しく作成し、公開しました。 github - Cysharp/AlterNats 公式の既存クライアントの3倍以上、StackExchange.RedisのPubSubと比較して5倍以上高速であり、通常のPubSubメソッドは全てゼロアロケーションです。 そもそもNATSとはなんぞやか、というと、クラウドネイティブなPubSubのミドルウェアです。Cloud Native Computing Foundationのincubating projectなので、それなりの知名度と実績はあります。 PubSubというと、特にC#だとRedisのPubSub機能で行うのが、StackExchange.Redisという実績あるライブラリもあるし、AWSやAzure、GCP
.NET 6 と Daprを使った分散サービス開発 その10 PubSub - Qiita
DaprでPubSub(パブリッシュとサブスクライブ) 前回は、Daprに備わっているBinding (バインディング)を用いて、SMTPのOutput Bindingを設定し、メールを送信する方法について触れました。 今までの前提の上でバインディングの機能を追加しますので、このページから読まれている方は、前提として以下を読んできてください。 DaprとRabbitMQを通じてPub/Sub 様々なアプリケーションを構成するにあたって非同期メッセージングは、結合度を下げ、且つ並列処理とスケーラービリティを確保する上で、とても大事な技術です。 今まで行ってきた、RabbitMQでのBindingでトリガする事と何が違うのか？と思われるかもしれませんが、BindingはQueueだけで無く、主にDaprの外で稼働する様々なサービスとの相互運用性に重きを置いています。 よって、RabbitMQだ
Ayame互換の WebRTC Signaling Server "ayu" を作った - castaneaiのブログ
AyameというWebRTC Signaling Serverの実装がある。 Web側のSDKとサーバー側の実装が両方公開されており、プロトコルの仕様も文章化されている。 GitHub - OpenAyame/ayame-web-sdk: Ayame Web SDK GitHub - OpenAyame/ayame: WebRTC Signaling Server Ayame GitHub - OpenAyame/ayame-spec: WebRTC Signaling Server Ayame Spec そして今回、Ayame互換のプロトコルを持つWebRTC Signaling Server "ayu" を開発した。 github.com 動機 Ayameはサーバー側も含めてオープンな実装があるのになぜ新しく互換サーバーを作ったのか。 大きく分けて2つの理由がある。 ステートレス カス
RedisとElastiCacheを分かりやすくまとめてみた - Qiita
はじめに 今までなぁなぁにしてきたRedisをいまさらながらに勉強してまとめました。 Redisって聞いたことあるけど中身はよく知らないとか、プロジェクトでなんとなく使っているけど実はよく分かっていないなどの人向けのページです。 NoSQL Redisの前にまずはNoSQLから。 背景 ビッグデータの登場により、従来のRDBだけでは充分な処理ができなくなってきたことがNoSQL登場の背景にある。 ビッグデータの定義は色々ありますが、ここでは3V(Volume/Velocity/Variety)を満たすものをビッグデータと呼びます。 VolumeとVelocityの問題を解決するためにNoSQLが必要 Volume(大量データ)とVelocity(秒単位で大量データ)に関する問題を対処する場合、スケールアップ(メモリ増加、コア数増加、SSD化)とスケールアウトの2通りの方法がある。 しかしな
デバッガでRedisのコードを読んでみよう - freee Developers Blog
こんにちは、エンジニアの松崎 啓治(まつざき けいじ)です。 インターネット上ではこのIDで活動しています。 @futoase 先日、社内でエンジニア向けに「デバッガでRedisのコードを読んでみよう」というテーマの勉強会が開かれました。せっかくの機会なので、その内容をご紹介します。 勉強会スライドへのリンク デバッガでRedisのコードを追いかけるメリットとしては以下のようなものがあります。 gdbを使ってRedisのコードをstep実行することで、どのタイミングでRedisのStorage(memory領域)からデータを取得できるのか体験から学べる Redisだけではなく、nginxやMySQL、PostgreSQLなどgdbを利用してstep実行を行えるものであれば、今回の勉強会の手法を元に同じように体験から学ぶことができる デバッガで追いかけるための準備 プレゼン資料で
AmazonRDS(MySQL), ElastiCache(Redis)と互換性のある環境をKubernetesに構築
AmazonRDS(MySQL), ElastiCache(Redis)と互換性のある環境をKubernetesに構築MySQLRediskubernetes はじめに AWSのマネージドサービスを活用してプログラム開発を行う時に、コスト面などを考慮しDevelop環境をlocalで用意する場合があります。 今回は、localのKubernetes環境上に、Amazon RDS, Amazon ElastiCacheと互換性のあるPodを作成します。 Amazon RDS の互換性のある MySQLのバージョン Aurora : 5.6.10a MySQL : 5.6.27 など Amazon ElastiCache Redis : 4.0.10 MySQL 事前準備 MySQLスキーマファイル作成のために、DockerImage起動 mkdir ~/sqldump docker run
Sequel Proを超えるGUIツールが出てきたぞ
悲報 2019年6月26日現在、TeamSQLのサポートがなくなってしまったようでダウンロードできなくなくなりました。。 TeamSQL has retired and is not available for download anymore. 今までSequel Proを重宝してきましたが、それを超えるGUIツールが出てきました。 その名も、TeamSQL 現状サポートしているものだけでもかなり豊富 今後、elasticやmongoDBにも対応されるようです。 機能 クエリ保存 履歴保持 ファイル出力 抽出した結果をボタン１つでcsvやjson形式に保存可能。 共有 データをエクスポートしなくても共有が可能。 グループの作成が可能なため、特定のユーザー同士で簡単に共有ができるとこがメリット。 可視化 様々なチャートでクエリの可視化が可能。 そのままイメージとして保存も可能。 テーマ選択
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redis Streamsを活用したイベントドリブンアーキテクチャの構築事例 - DMM inside
Redis University RU102N: Redis for .NET Developers
GitHub - city-mobil/insecticide: A tool suite for Redis configuration profiling
GitHub - Snapchat/KeyDB: A Multithreaded Fork of Redis
