Apache AirflowでAzure Databricksジョブを実行する - Qiita

はじめに Azure上でデータのパイプラインを構築したい場合は Data Factory が真っ先に候補としてあがる。PaaSとして提供しているので管理が容易だし、実装もGUIベースで非常に簡単にできる。一方で Airflow は人気のOSSプロジェクトであり世界で広く使われている。Pythonでワークフローを構築していくという、Pythonに慣れている人にはたまらない一面もあるし、カスタムプラグインを書くことも可能なので、柔軟性も高い。 それぞれできることが似ているが、今のところ以下のような印象を持っている (違ってたらご指摘いただけるとありがたいです)。 Data Factory・・・データのオーケストレーションやETL/ELTに主軸を置いている Airflow・・・汎用的なジョブスケジューラーのような印象がある 今回はApache Airflowを使って Azure Databric