reCAPTCHAのサイトを毎日自動スクレイピングする (6/7: コンテナ化) - Qiita

要件定義〜python環境構築 サイトのスクレイピング機構を作る ダウンロードしたファイル(xls)を加工し、最終成果物(csv)を作成するようにする S3からのファイルダウンロード / S3へのファイルアップロードをつくる 2captchaを実装 Dockerコンテナで起動できるようにする AWS batchに登録 サーバ上で動くようにする 前回までで、一度起動させれば、あとは何もせず自動で動くようになりました。 cronでも設定すれば毎日の実行でもできますが、このままだと 自分のPCをずっと起動させることになってしまいます。 なんとかサーバ上で起動するようにしたいところです。 ここで壁になるのが、今回のスクレイピングは、Displayが必須になること。 Chromeのheadlessモードなども試したのですが、うまくいきませんでした。 というわけで今回は、少し古い技術ではあるもののXv