reCAPTCHAのサイトを毎日自動スクレイピングする (1/7: python環境構築) - Qiita

RPAによる業務改善をするプロジェクトに参加していたのですが… RPAツールが**あまりにも高額(720万円/年)**だったため、pythonで置き換えました。 そのときの仕事をまとめたものです。 要件 概要 とあるサイトにログインし、特定ワードで検索した結果をダウンロードし、データを取得します。 INPUTとなる特定ワードはAmazonS3に毎日置かれます。 取得したデータを整形し、S3上の別位置に置くことがOUTPUTとなります。 なお、サイトの会社に連絡し、スクレイピングの許可はいただいています。 難点 その特定サイトにはログイン時にreCAPTCHAが仕込まれています（！） その特定サイトではAnglarJSが使われています ダウンロードするときには、クリックをしなければなりません 毎日実行できるようにしなければなりません 技術選定 （かなり試行錯誤したのですが）結論だけ書くと、下