Cloud Composerをスケールさせたい時のアプローチ検討 - Qiita

はじめに この記事はDMMグループ Advent Calendar 2019 22日目の記事です DMM.com マーケティングテクノロジー部の津久井です。 Advent Calendar参加は今回で2回目です。 以前から所属していたアドテクノロジー部が領域を広げ、今年4月からMarTech(日本だと最近はマーケティングテックとも呼ばれています)でDMMを成長させてゆく組織となりました! ワークフローエンジンのトレンド(?) digdag(弊社でもよく利用されています)やLuigiなど、所謂ワークフローエンジンというものにはいくつかOSSが存在しますが、その1つとしてのApache Airflowは、GCPでのCloud Composerとしての提供 + AWSではSagemakerとの統合などで、各クラウドサービスで採用をされています。 その中でもCloud Composerは、Airf