ElastiCache on Outposts を試す - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの福田優真です。 NTT Comでは AWS Outposts を日本で初めて導入し、様々な検証を進めています。 プレスリリース 国内初、「AWS Outposts」に自社データ分析ツールを組み込んだソリューションを開発 Engineers' Blogでの紹介 【日本初導入】 AWS Outposts ラックを徹底解説 第1回 〜導入・利用方法の概要〜 第2回 〜AWS CDKによるInfrastructure as Code〜 第3回 〜TerraformによるPrivate EKS構築〜 AWS Outpostsで実現するオンプレデータレイク Local cluster for EKS on AWS Outpostsについて紹介 今回は Amazon ElastiCache を Infrastructure as Code (IaC) によって Out
RESP3対応版のRedis用Ruby Gems(redis-client/redis-cluster-client)のご紹介 - LIVESENSE ENGINEER BLOG
概要 旧redis gemの課題 増え続けるコマンドのサポート負荷 RESP2しか対応できていない 新redis-client / redis-cluster-client gemsによる解決 新規コマンド対応の柔軟化 RESP3のサポート その他の背景 redis-rbとしてGitHubのOrganizationを新規に作成した理由 新redis-client gemと新redis-cluster-client gemとを分けた理由 旧redis gemの今後 最後に 概要 インフラストラクチャーグループの春日です。 Ruby で Redis を扱う際は redis gem がよく使われてきました。 しかし色々と課題が出てきたため、それらを解決すべくRedisのバージョン6以上に対応した redis-client gem が作られた話をします。 Gem 説明 メンテナー redis 長年
Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装
Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装 Redisやmemcachedに代表されるインメモリデータストアは、高速なデータアクセスを要求される場面で使われています。 このインメモリデータストアを2022年の最新技術を用いて設計、実装することで、Redis/memcached互換を実現しつつRedisの25倍高速とする「Dragonfly」が登場しています（開発元のアナウンス、GitHub）。 Redisやmemcachedが登場した十数年前と比べて、現在ではCPUのマルチコア化やI/Oの高速化、メモリの大容量化など、ハードウェア技術が大きく進化しています。 これらを最大限活用する設計と実装を取り入れることでRedisやmemcachedよりも大幅な高速化と高効率化を目指したのがDragonflyです。 採用した主な技術
排他制御のためだけに Redis 渋々使ってませんか？データベース単独でアドバイザリーロックできるよ！
トランザクション分離レベルについての教養があったほうがこの記事の内容を理解しやすいため，必要に応じてまず以下を参照されたい。 背景 以前， Qiita で以下の記事を投稿した。今回の議題に直接的な関係はないが，関連している部分があるため引用する。 MySQL/Postgres とも， MVCC アーキテクチャの恩恵で， SELECT と UPDATE は基本的には競合しない。 単一レコードのシンプルな UPDATE でも排他ロックされ，排他ロック中のレコードへの UPDATE での変更操作は トランザクション分離レベルによらず ブロックされる。UPDATE 文に含まれる WHERE 句での検索もブロックされ，これはブロックされない SELECT による検索とは別扱いになる。 但し UPDATE 文の WHERE 句上で，更新対象をサブクエリの SELECT から自己参照している場合は例外。
Laravel の認証・認可パッケージが多すぎてわけわからんので図にまとめた - Qiita
元ネタ @localdisk さんの記事です。 こちらで概ね適切に説明されているものの，文章のみで図が無くて直感的に把握しづらいので，初心者にもすぐ飲み込ませられるように図に描き起こしてみました。 図 解説 illuminate/auth: 最小限の認証認可コアロジック コアコンポーネント群の laravel/framework に含まれているものです。 Socialite 以外のすべてのパッケージが，実質このコアに依存していることになります。 以下の記事でこのパッケージの詳細について説明しているので，ここでは端折って説明します。 伝統的 Cookie ベースのセッション認証 こちらでも解説している， 「Cookie に識別子を載せ，それに対応する情報はサーバ側のファイルに記録する」 という手法に近いものです。 実装は illuminate/session にあり， PHP ネイティブのセ
Redisの25倍のスループットDragonflyを試してみる
インメモリデータストアを現代風に再実装したら? 高速なデータアクセスのためのインメモリデータストアとしては、RedisやMemcachedが有名です。ただし、これらは10年以上前に設計されており、Memcachedに至っては、2003年と約20年前です。 長い年月を経て、機能追加や最適化が進む一方で、どうしても設計の古さも目立ってきます。 その課題を解決すべく開発されたのがDragonfly です。 全ての操作がアトミック 高スループットでもミリ秒未満のスループット を目指し、Redis/Memcached互換なAPIを提供します。 Redisの25倍のスループットを誇り、1インスタンスで百万オーダーのQPSをさばけます。 開発者が実施したAWS EC2上のベンチマークによると、Dragonflyは本家RedisやRedisのマルチスレッドforkであるKeyDBよりも圧倒的なスループット
Announcing JSON support for Amazon ElastiCache for Redis and Amazon MemoryDB for Redis
Amazon ElastiCache for Redis and Amazon MemoryDB for Redis now support natively storing and accessing data in the JavaScript Object Notation (JSON) format. With this launch, application developers can effortlessly store, fetch, and update their JSON data inside Redis without needing to manage custom code for serialization and deserialization. Using ElastiCache and MemoryDB, you can now efficiently
RedisのPub/Subを使って設定情報を高速配布する。「LINE LIVE」が取り組んだアーキテクチャ改善
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY2021 アフターインタビュー」では、発表内容をさらに深堀りし、発表では触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「RedisのPub/Subを使って設定情報を大規模ユーザに高速配布した話」です。 ライブ配信サービス「LINE LIVE」は多くのユーザーに利用されており、なかには数十万ユーザーが同時接続するような配信もあります。「LINE LIVE」のチャットシステムでは、さまざまなシステムやユーザーの設
AWS、コンテナ特化で瞬時に起動するオープンソースの軽量VM「Firecracker」がバージョン1.0に到達
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS、コンテナ特化で瞬時に起動する軽量VM「Firecracker」オープンソースとしてバージョン1.0に到達。AWS LambdaやAWS Fargateで利用」（2022年2月2日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 Firecrackerは2018年11月に行われたAWSのイベント「AWS re:Invent 2018」でオープンソース化が発表されました。コンテナのために作られた仮想化技術で、同社が「マイクロVM」と呼ぶセキュリティにフォーカスして設計されたスリムな仮想マシンです。 「AWS Lambda」のような高速なサーバレス環境を実現するために同社が開発しており、実際にAWS Lambdaや「AWS Fargate」で利用されていると説明されています。 基本的な特徴として、小さ
PubSub/Redisを用いたGoによるスケーラブルなworkerの構築と運用 | メルカリエンジニアリング
こんにちは。メルカリのNotification teamでソフトウェアエンジニアをしている@naruseです。 この記事は、Mercari Advent Calendar 2021 の19日目の記事です。 はじめに 私が所属しているBusiness Platform Notification teamでは、２つの役割で通知周りの基盤を担当しています。 １つ目はアプリケーションとしての役割の通知です。メルカリでは、アプリ内でのお知らせや個別メッセージ、やることリストなどを提供しています。私たちはそれらの膨大なデータを管理し、作成や取得のリクエストに応えています。これらの膨大なデータに対する私たちのチームの過去の記事として、昨年のAdvent calenderの一部である本番稼働中の Spanner にダウンタイム無しに57時間かけてインデックスを追加して得た知見をぜひご覧ください。 ２つ目は
ソースコードを公開したソフトウェアで収益を得ている会社
ソースコードを公開したソフトウェアで収益を得ている会社をまとめる。いわゆる「オープンソースソフトウェア（OSS）」という有名な言葉を使わなかったのは、OSS の定義に当てはまらない、またはその可能性があるものが含まれているため。 この記事では "OSS" の定義に当てはまらないものも含め、主要な事業を構成するソフトウェアを一定のライセンスの下で公開している会社をまとめていく。このようにソースコードを公開して利用者やフィードバックを集めるビジネスモデルは open core とか COSS: Commercial Open Source Software と呼ばれているようだ。 企業が「ソースコードが公開されているソフトウェア」を利用するメリットとしては、主に以下の2つがあると考えられる。 コア機能の開発に集中できる 自社のビジネスの核となるソフトウェアの開発に集中し、それ以外の機能的・非機
Async Ruby - Bruno Sutic
Ruby has an Async implementation! It's available today, it's production-ready, and it's probably the most awesome thing that's happened to Ruby in the last decade, if not longer. Async Ruby adds new concurrency features to the language; you can think of it as "threads with none of the downsides". It's been in the making for a couple of years, and with Ruby 3.0, it's finally ready for prime time. I
docker composeのserviceをグループ化
docker composeではserviceごとにprofilesという属性を指定できて、起動時にこれを指定することで関連する一連のserviceだけを起動させられる。 どういうシーンで使えるのか。例えばとあるRailsアプリでは、一部の開発者はMySQLやRedisなどのデータストアだけdocker composeで起動して開発し、他の開発者は加えてRubyもdocker composeで起動して開発している。osxfsが遅すぎて、ファイルへの読み書きが頻発する処理がmacOSのDockerでは使い物にならないからだが、この話は今回どうでもいい。さてこのとき、データストア用のserviceに適当な名前のprofileを割り当てておくことで、個々のserviceの名前を逐一指定しなくても起動でき、将来の変更にも強くなって嬉しい。 # profile導入前 docker compose u
ISUCON11予選の感想戦：ユーザーを一人も増やさない戦略が最強で1373637点出た - (/^^)/⌒●~*$ a(){ a|a& };a
はじめに 弊チーム百万円ドリブンのISUCON11の本戦出場が決まりました。 実はこれで本戦出場は連続5年目です。運がいいですね。 弊チームの予選当日の動きはメンバーのaokabiかnakarioが書いてくれると思いますので、そちらを御覧ください。 今回の問題の構成はこんな感じでした、シンプルで不必要な部分は削られており、今年も良い問題でした。 感想戦 さて、予選当日は449781点で7位通過できたのですが、我々は百万円ドリブンなので百万円にしか興味ありません。限界までチューニングをします。 github.com 感想戦では、この CloudFormation テンプレートを使うと予選と同じ環境が一瞬で構築できました。すごい。 目につくところを細々と直す https://github.com/1m-yen-driven/isucon11q/tree/e235715f52ef2ddd1509
Redisに耐久性が加わったAmazon MemoryDB for Redisが登場 | DevelopersIO
MemoryDB はElastiCache の約1.5倍、Aurora の約1.2倍と若干高価です。 耐久性を重視するMemoryDBはElastiCacheで言うところの「クラスターモード」しか存在しないため、{シャード数} x {ノード数/シャード} x {インスタンス利用費} 分の利用費が発生する点にもご注意ください。 最後に Redisを永続的なデータストアとしても使える Amazon MemoryDB for Redis が爆誕しました。 データ耐久性のトレードオフとして書き込み速度は低下したものの、読み取りの速さはまさにRedisです。 クライアントはRedisコマンドを投げるだけで、MemoryDBが良しなにやってくれるため、使い勝手が良さそうです。 今後はDynamodB+DAXの代替として検討したり、RDB+キャッシュRedisなシステムを MemoryDB に集約すると
Ayame互換の WebRTC Signaling Server "ayu" を作った - castaneaiのブログ
AyameというWebRTC Signaling Serverの実装がある。 Web側のSDKとサーバー側の実装が両方公開されており、プロトコルの仕様も文章化されている。 GitHub - OpenAyame/ayame-web-sdk: Ayame Web SDK GitHub - OpenAyame/ayame: WebRTC Signaling Server Ayame GitHub - OpenAyame/ayame-spec: WebRTC Signaling Server Ayame Spec そして今回、Ayame互換のプロトコルを持つWebRTC Signaling Server "ayu" を開発した。 github.com 動機 Ayameはサーバー側も含めてオープンな実装があるのになぜ新しく互換サーバーを作ったのか。 大きく分けて2つの理由がある。 ステートレス カス
Do You Really Need Redis? How to Get Away with Just PostgreSQL
Do You Really Need Redis? How to Get Away with Just PostgreSQL There’s a tried-and-true architecture that I’ve seen many times for supporting your web services and applications: PostgreSQL for data storage Redis for coordinating background job queues (and some limited atomic operations) Redis is fantastic, but what if I told you that its most common use cases for this stack could actually be achie
機密データのGitHubへの意図しないアップロードを防ぐ「Deadshot」がオープンソースで公開
Deadshotは、すべてのコミットで実行され、正規表現を使用してプルリクエストの差分をスキャンし、重要なものを探す。重要なものが見つかった場合には、プルリクエストにコメントを追加して、指定されたSlackチャネルに通知することも可能で、特定された機密に対処することなくプルリクエストがマージされた場合には、セキュリティチームのキューに、Jiraチケットを作成する。 PythonベースのFlask-Celery-Redisマルチコンテナアプリケーションであり、GitHubアプリとしてインストールされ、インストール先のリポジトリのメインブランチに対して作成された、すべてのプルリクエストで実行される。 Flaskコンテナは、プルリクエストのペイロードを受信するためのAPIルートを公開し、プルリクエストのペイロードが受信されるとサービスはペイロードをRedisキューに転送する。また、Celeryコ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - factorysh/redistop: Use Redis' MONITOR to draw things in a terminal
NginxのRatelimit発動時に、安定したアクセスを提供するngx-smart-ratelimitを開発しました | ten-snapon.com
