大規模クローリングにおけるSQSキュー詰まりの解消法 - テコテック開発者ブログ

はじめに アーキテクチャ キュー詰まり キューの分離 同時実行制限 サーバ単位での同時実行制限 時間単位での同時実行制限 メッセージ単位での可視性タイムアウト メッセージ単位での遅延キュー まとめ 参考 テコテックの採用活動について はじめに システム開発第一事業部の大泉です。普段はエンジニアとして Python でバックエンドの開発を行っています。 AWS の SQS を使用して 1500 程度のサイトを対象に 1 日数百万ページを処理するクローラーを構築しました。開発初期、ページ数の多いサイトの URL でキューが埋め尽くされ、他のサイトのクローリングがほとんど行われない問題が発生しました。本記事ではこのようなキュー詰まりを解消し、すべてのサイトを平準化してクローリングする方法をご紹介します。 なお、サンプルコードは実装のイメージが伝わりやすいように簡略化したものであり、実際の実装とは