2千万件のログ分析から始めるRedis -> SQS移行とオートスケール - MNTSQ Techブログ

はじめに システムが成長し、扱うデータ量やトラフィックが増大してくると、非同期処理の安定性とスケーラビリティがサービス全体の課題となります。 弊社のサービスの根幹部分はRuby on Railsを採用しているため、長らく標準の非同期処理のキューとしてResque (Redis) を使用していました。しかし、サービス規模の拡大に伴い、Redisベースの運用では「ワーカーのオートスケール最適化」が困難であるという課題が浮き彫りになってきました。 本記事では、この非同期処理のバックエンドを Amazon SQS に移行した背景と、移行に伴って行ったキュー設計・オートスケール最適化の取り組みについて紹介します。 はじめに なぜSQSなのか 非同期処理でのオートスケール実現の課題 RedisからSQSへ ─ 移行のメリットと留意点 ─ 2千万件のログからサービス特性を分析する キューの再設計 前提:

[nguyen-oi]

RedisからSQSへの移行、10秒ルールとか設計がガチで参考になる。AIエージェントの使いこなしも進んでて現代のエンジニアリングって感じ