はじめに GKE(Kubernetes)とAirflowの勉強もかねて、GKEでAirflowの環境を構築します。 (ここをかなり参考にしてます。) Cloud Composerを使わないのか? ※2019/4/16時点 GCPではAirflowのマネージドサービスであるCloud Composerというサービスがあり、 がっつりComposerでジョブ管理していくのであればぜひComposerを使いたい。 が、スモールスタートするには月数万円とそれなりのコストがかかるので まずはGKEで半マネージドな感じでやってみます。 ちなみに、GKEだとg1-smallで月5千円くらいになります。(GKEは最小3ノード) f1-microだとさすがにAirflow動かないので、g1-smallが最小インスタンスです。 個人でやってみる場合にはpreemptible(24時間起動後再起動するインスタン