apache airflow 複数worker構成のalpine版docker imageを作った | せかいらぼapache airflowは様々なサービスを含んでいて何が何をしているのか良くわからない上に設定項目も無数にありそれぞれが指すパラメータも抽象的でドキュメントが整っておらずバージョンを重ねるごとに負債が増えていっているソフトウェアであるにもかかわらずよく使われています。何をするソフトなのか、をひとことで言うと、「cronのパイプラインをweb UI付きで管理できる」ソフトです。 内部で運用している企業は本当にちゃんと分散させて安定稼働しているのか？という程度には単一ホストを想定した設計になっていて、マイクロサービスっぽさに騙されて複数ノードに展開すると軽く地獄を見ます。地獄を見ないためにdocker imageを作ってみました。alpine linuxを使っているので軽いです(約1GB。。。airflowの割には、軽いです)。airflow v1.9です。
