タグ

2022年10月20日のブックマーク (1件)

  • AWS Lambdaで定期的にスクレイピングする方法(その1:Step Functions編) - Twin kangaroos

    定期的に見るWebページがあるのだが、その都度ブラウザを開いて見るのは面倒である。そこで定期的にそれらのページをチェックし、前回と差分があった時にメールで通知する仕組みをLambdaで作る。 なお、AWS主催の「 AWS Dev Day Online Japan「120分で学ぶ、サーバーレスのはじめ方 for Developers」」のハンズオンが非常に参考になった。Amazon EventBridge、Step Functionsは、このハンズオンのおかげで実装できた。感謝したい。 今回構築するシステム構成 以下を構築していく。ざっくり説明すると、いわゆる「Crontab」をAmazon EventBridgeで実装し、定期的に処理を呼び出す。その呼び先となるのがStep Functionsである。そのStep Functionsでは、Lambdaを一つずつ実行していく(並行して実行する

    plasma0713
    plasma0713 2022/10/20
    “このStep Function、何がすごいかというと、Lambdaの処理の順序を自由に変更できるというところである。”