はじめに Scrapyで作ったプロジェクトに複数のSpiderを実装し、一回の実行コマンドで複数のSpiderを同時に動かすための方法を調べてみました! この記事では以下の3パターンの実行方法について解説しています。 パターン1 : 複数のSpiderを並列に実行 パターン2 : 複数のSpiderを順番に実行 パターン3 : パターン1とパターン2の組み合わせ 実施環境 # Mac OS $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.2 BuildVersion: 18C54 $ python3 --version Python 3.7.0 # Scrapyのバージョン Scrapy==1.5.1 解説 動作を確認するために、簡単なScrapyプロジェクトを作成してみました。 githubへアップロードしているので、確認してみ
![Scrapyの複数Spiderを同時に実行する3つのパターン | OUTPUTおじさん](https://cdn-ak-scissors.b.st-hatena.com/image/square/ee94019f3d1458c877fee440929668525a65a799/height=288;version=1;width=512/https%3A%2F%2Foutputoji3.net%2Fwp-content%2Fuploads%2F2019%2F01%2Fsome-spiders-run.png)