はてなブックマーク

要件定義〜python環境構築 サイトのスクレイピング機構を作る ダウンロードしたファイル(xls)を加工し、最終成果物(csv)を作成するようにする S3からのファイルダウンロード / S3へのファイルアップロードをつくる 2captchaを実装 Dockerコンテナで起動できるようにする AWS batchに登録 自動実行へ向けて 前回までで、目的を達成できるプログラムになりました。 が…今回の要件では、これを毎日定期実行する必要があります。 通常 batchシステムを定期実行するにはcronなどでやれば良いのですが、今回はそう簡単には行きません。 reCAPTCHAを解除する必要がある(画面が必要、手作業が必要 seleniumも、headlessモード(画面なし)では動かない (クリックによるダウンロードが必須だったため) まずは、reCAPTHCA対策です。 調べてみると、「2C