こんにちは。あなただけの彦星になりたい、鹿児島が生んだ三大Hikoの一人、和彦こと、P山 です。 今日はデータ基盤チームで利用しているワークフロー管理プラットフォームのApache Airflow(以降Airflow) で利用しているDAGのCI環境をクラウドネイティブな技術を利用して、リニューアルした実装を紹介します。 DAGというのは Directed Acyclic Graph の略で有向非巡回グラフと訳されます。Airflowではそれぞれのタスクをまとめたものを1つのDAGとして定義します。 多くの方になじみのない言葉でしょうから、この記事内においては「プログラムコード」と脳内変換していただければ読みやすいです。 リニューアル前 データ基盤チームではAirflowの実行基盤としてGCPのCloud Composer を利用しています。 自動テストを行うために、GitHub Acti
![ワークフロー管理プラットフォームのCI環境をクラウドネイティブへ - Pepabo Tech Portal](https://cdn-ak-scissors.b.st-hatena.com/image/square/c5afdd9531529de0bd51b57f45634c01a01b3571/height=288;version=1;width=512/https%3A%2F%2Ftech.pepabo.com%2Fblog%2F2023%2F07%2F07%2Fdata-platform-ci%2Fimages%2Farchitecture.png)