タグ

ブックマーク / zenn.dev/ymasaoka (1)

  • 公式 Docker イメージを使って Apache Airflow を始める

    この記事について この記事では、Docker Hub で公式に公開されている Docker イメージを使用して、Apache Airflow の環境を構築する手順について記載しています。 Airflow は Airbnb のエンジニアが社内で開発したもので、基的に相互に依存しているタスクと独立しているタスクが複数存在している場合において、実行されている様々なジョブの実行、スケジューリング、配布、監視を効率的に行うことが出来るフレームワークです。 Airflow は 2016 年に Apache の一部となり、オープンソースとしてユーザーが利用できるようになりました。 Airflow 環境を Docker で作るネット記事は多く回っていますが、そのほとんどが他人が自作したものであったり、Dockerfile を独自に作成していたりするものがほとんどだと思います。 こうしたいわゆる 野良の

    公式 Docker イメージを使って Apache Airflow を始める
  • 1