この記事は eureka Advent Calendar 2018 11日目の記事です。 どうも、みなさん、おはこんばんにちは。 エウレカBIチームで、データ基盤をコソコソ作っているsotaroです。 今年一番みて良かったアニメは『ヴァイオレット・エヴァーガーデン』と『ゆるキャン△』です。一番といったのに二つ選んですみません。キャンプしたいです。 私は、主にPairsのデータを分析したり、分析するためのデータを作ったり整えたりするお仕事をしています。 特に最近では、Pairsのデータ基盤を刷新するプロジェクトに注力しており、今日はそのプロジェクトの中で最近導入&試験運用を始めたGCPのマネージドAirflow、Cloud Composerについてご紹介します。 なぜCloud Composerを使うことにしたのか?本題に入る前に、まずは「なぜ?何を?」などの外堀を埋めていきたいと思います。
![Cloud Composerでデータ基盤のワークフローを作る – Eureka Engineering – Medium](https://cdn-ak-scissors.b.st-hatena.com/image/square/c509394f5245de5aca1514f71b309edccb095f04/height=288;version=1;width=512/https%3A%2F%2Fmiro.medium.com%2Fv2%2Fresize%3Afit%3A1053%2F1%2AZMVO7T9-INwlg6g_2G6qSw.png)