背景 Python製のスクレイピングフレームワークであるScrapyの存在を最近知ったのですが、ちょっと触ってみた感じ最強でした。 具体的な良い所としては以下が挙げられます。 いくつかの設定+簡潔な記述だけでスクレイピング処理が書ける プログラムベースなのでいざとなれば複雑な処理も書ける Scrapy Cloud というクラウドサービスと連携しているため、作成したクローラをコマンド一つでデプロイ&実行できる クラウドサービスを使えばスケールも簡単、スケジューリング機能、統計情報や監視もついている 概要と導入には以下の記事が大変参考になります。 Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ 手間をかけずに実務で使えるクローラーの作り方 - ITANDI BLOG この記事の目的 概要と導入に関しては上記の記