こんにちは。最近pythonと戯れているmatsです。 6月の頭にこんなリリースがありました。 今回はこの「Airflow」を試してみようかと思います。 Airflowとは 「Airflow」はAirbnbがオープンソースとして公開したワークフロー管理プラットフォームです。 データパイプラインを規模に応じてタイムリーにオーサリング、スケジューリング、モニタリングすることができ、過去数年間で爆発的に成長したAirbnbにとっては不可欠な存在とのこと。 ソースコード: https://github.com/airbnb/airflow/ ドキュメント: http://pythonhosted.org/airflow/ Airflowのインストール Airflowはpython製で2.7系のみの対応です。今回はAmazon Linuxにインストールを行いました。 準備 コンパイルに必要なパッケー
![Airbnbの「Airflow」を試す](https://cdn-ak-scissors.b.st-hatena.com/image/square/53e11a529ea483a0b80333ef0bd0665cc3ab0c79/height=288;version=1;width=512/http%3A%2F%2Fimg-tech-im-dmp.s3.amazonaws.com%2F2015%2F06%2Fairflow_logo-1024x1024.png)