Scrapyをaws Lambdaで動かす - Qiita

Python製のクローラーフレームワークであるScrapyを使うと、簡単にクローラーを作成することができます。 実際のクローラーの開発・運用ではクローラーを定期的に動かす必要が多いです。 Scrapy単体は定期実行の機能を提供していないため、何かしらの外部の仕組みを活用して定期実行をする必要が出てきます。 例えば、Scrapyの開発元であるScrapingHub社が提供しているPaaSであるScrapy Cloudを使うと定期実行を行うことができます。 このクラウドはScrapyに特化したものであり、ヘッドレスブラウザやIPアドレス偽装などの便利機能とのインテグレーションも容易です。 しかし、この記事ではaws Lambda(以下Lambda)の上でScrapyを動作させてみます。 Lambdaで動かすことで、他のawsサービスとのインテグレーションがやりやすくなります。 Pythonコー