[Python] AWSのサーバーレスアーキテクチャを使って、イベントドリブンなWebクローラーを作ってみる - Qiita

[Python] AWSのサーバーレスアーキテクチャを使って、イベントドリブンなWebクローラーを作ってみるPythonElasticsearchlambdaScrapyKinesis サーバーレスでイベントドリブンなWEBクローラーを作ってみる 今ElasticSearchを勉強中なので、ESを使って何かできないかなと思い、Kinesis+Lambdaを使ったイベントドリブンなWebクローラーを書いてみました。 実行環境 CentOS7 python 2.7 ワークフロー 大まかな流れは以下の通りです。 1. Scrapy(ScrapingHub or AWS Lambda)でURLを抽出、KinesisストリームにPUT 2. KinesisストリームからAWS Lambdaに発火させる 3. Lambda関数からURLへ巡回し、データをElasticSearch Serviceへ流す

[nekoruri]

Kinesisのshard数＝lambdaの並列実行数なので、増えてくるとKinesis税がつらそう。