2017/05/11に開催された「Tokyo Airflow Meetup #1」での発表資料です。 ジョブ管理システムをApache OozieからApache Airflowに変えた際の事例紹介となります。 イベントURL https://www.meetup.com/ja-JP/Tokyo-Apache-Airflow-incubating-Meetup/events/238731591/ Read less
![OozieをやめてAirflowを導入してみた話 #ApacheAirflow #Oozie](https://cdn-ak-scissors.b.st-hatena.com/image/square/491235cf6d830b8b2c5a4b621221b4ab2a3a3e23/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Ftokyoairflowmeetup01-170526094211-thumbnail-4.jpg%3Fcb%3D1495791823)
こんにちは。テクノロジカルマーケティング部 データプラットフォームチームの村上です。 弊社各サービスのデータ分析基盤であるLivesense Analytics(以降LA)の開発、運用を行っています。 本日は弊社データプラットフォームでも活用しているフロー管理ツールAirflowについて、分散処理の概要や最近の更新についてご紹介します。 Airflowについて Airflowとは github.com Airflowはデータ処理フローを管理するツールです。元々はAirbnb社が開発して公開したソフトウェアです。その後Apacheソフトウェア財団のサポートを受けて現在はApache Airflowという正式名称になっています(本ブログでは以下Airflowと記述します)。ライセンスはApache License2.0です。本体コードはpythonで作られています。 2018年2月現在、正式リ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く