こんにちは。テクノロジカルマーケティング部 データプラットフォームチームの村上です。 弊社各サービスのデータ分析基盤であるLivesense Analytics(以降LA)の開発、運用を行っています。 本日は弊社データプラットフォームでも活用しているフロー管理ツールAirflowについて、分散処理の概要や最近の更新についてご紹介します。 Airflowについて Airflowとは github.com Airflowはデータ処理フローを管理するツールです。元々はAirbnb社が開発して公開したソフトウェアです。その後Apacheソフトウェア財団のサポートを受けて現在はApache Airflowという正式名称になっています(本ブログでは以下Airflowと記述します)。ライセンスはApache License2.0です。本体コードはpythonで作られています。 2018年2月現在、正式リ
![Airflow を用いたデータフロー分散処理 - LIVESENSE Data Analytics Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/b14eced30c1560241cf5802e05a96498eadf4f33/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fl%2Flivesense-analytics%2F20180131%2F20180131141028.png)