ETLのワークロードが単一のGlueジョブ(以下、ジョブ)で済むのであれば、Glueのトリガー(以下、トリガー)や、EventBridgeと連携させたLambda Functionなどで実行すればいいと思いますが、ジョブ同士が依存関係を持ったり、Glue以外での処理が見込まれる場合、どう設計しておくべきか... 今回はジョブの実行/管理で検討できそうな、トリガー、ワークフローがどういったものか簡単に整理しつつ、どうやって実行/管理した方がよさそうか考えてみました。 トリガー Glueにはトリガーと呼ばれるオブジェクトがあり、手動または自動で1つ以上のクローラーや、ジョブを実行することができます。 トリガーには起動方法が設定でき、以下を指定することが可能です。 スケジュール…固定のサイクルを指定(毎日24時など) オンデマンド…コンソールやAPIから実行 ジョブイベント…他のジョブイベント