とある理由から、スクレイピングした結果をDBに保存する処理を定期実行させる簡単なプロダクトを作りたくなった為、AWS Lambda上でSelenium + Headless ChromeをPythonで動かす為の基盤作成を行った際の記録です。 作業時に部分的に参考になる資料は沢山あったものの、事前準備から始まり、Lambdaをどう作るかの作成部分、Lambdaからスクレイピングを実施する為のコード内記述、実行後に多くのケースでハマるポイントへの対処などなど、通しで書かれた内容が少なかった事もあり、振り返りの意味も含めて一度まとめてみます。 やりたいこと 冒頭にも書いたとおり、スクレイピングした結果をDBに保存する処理を定期実行させる簡単なプロダクトを作る為の実行基盤を作るのが目的です。 何故AWS Lambda上で動かす必要があったのか スクレイピング処理をLambda上で実行させる理由は