Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part3
Part2では、Airflowの基本的な使い方を学びました。Part3では、実際にパイプラインの実装に入っていきたいと思います。とはいえ一度に全部は作れないため、パートに分けて作成をしていきます。今回は、データ収集を担当するパートの一部を実装しようと思います。 Part3にて実装の範囲: データの取得処理具体的には、以下の処理のうち1~2を実装してみます。 EDINETから、決算関連文書のリストを取得するリストに掲載された文書をダウンロードして、ストレージに格納するダウンロードされた文書からテキストを抽出し、DBに格納する抽出したテキストから特徴量を計算し、ストレージに格納するEDINETは、企業の決算文書などを公開している金融庁のシステムです。最近APIで文書にアクセスできるようになったため、こちらを題材に使ってみたいと思います。 基本的には、ファイルダウンロード・テキスト抽出・特徴量抽
Airflowのユニットテストモード実施を嵌りなく進めるための設定をまとめてみた | DevelopersIO
Airflowのユニットテストモードを実施しようと設定していたところ、なかなか意図した挙動にならず、ソースコードを辿った結果分かったことをベースに書いてみました。 はじめに Airflowの機能を一部使ったロジックのテストを検討しました。問題は既にあるユニットテストに載せられるのかどうか。 テストを実行するまで必要な手続きをまとめてみました。 Airflowが読み込む設定ファイル Airflowの設定は、以下の順で優先されます。 AIRFLOW__<SECRION>__<KEY>に設定された値 AIRFLOW_CONFIGに設定されたファイルの内容 airflow.cfg では、テスト用の構成はどうなるか、というと AIRFLOW__<SECRION>__<KEY>に設定された値 AIRFLOW_TEST_CONFIGに設定されたファイル unittests.cfg の順になります。 Ai
初めて触るAirflow | DevelopersIO
最近、業務でAirflowを初めて触りました。調査したこと、試しに動かしてみたことなどまとめてみます。 Airflowとは Apache Airflowはいわゆるワークフローエンジンと言われるツールの一種で、 複数のタスクの実行順序を定義するワークフローの作成、実行のスケジューリング、監視などを行うことができます。AirbnbのMaxime Beauchemin氏によって2014年10月に開発され、2016年にはApache Incubatorプロジェクトになっています(参考)。 Airflowでは、DAG（有向非巡回グラフ）でワークフローを表現します。 その基本的なコンセプトについては下記の記事で解説されていますので、ご参照ください。 Airflowのコンセプトと仕組みを理解する とりあえず試してみる まずは手元のPC (Mac) で試してみます。 簡単に動かせるDockerイメージとD
Airflowのコンセプトと仕組みを理解する | DevelopersIO
春田です。 Airflowを活用したプロジェクトに携わる事になったのですが今回初めて触れる形となるため、まずはAirflowに関する概要を勉強しながらまとめてみました。 Airflowとは The Airflow Platform is a tool for describing, executing, and monitoring workflows. Airflowは、ワークフロー（例えば、A B Cという３つのタスクがあった時、これらをいつどの順番で実行するか）を記述、実行、監視するためのツールです。 このAirflowは DAG (Directed Acyclic Graph: 有向非巡回グラフ) というグラフ理論がベースになっています。私自身、グラフ理論にあまり精通していないのため、自分でも理解できるように噛み砕いた言葉で説明していきます。 DAG (Directed Acycl
Apache Airflow + Slack でデータクオリティチェックを自動化する - Qiita
データ分析をしている人にとっては，データのクオリティを日々モニタリングするのは頭痛の種です．最近のシリコンバレーでは，Data Engineer とは別に Data Quality Engineer というポジションで募集をしている企業もたまに見かけます．それぐらいデータの「質」には，気を配る必要がありリソースが掛かる分野といえるでしょう．とは言え，専任のポジションを設けるのはなかなか難しいので，それでもできるだけ簡単にモニターリングしたいです． Airflow と Slack を組み合わせることで，データのクリティを日々モニタリングすることができます．データエンジニアリングにユニットテスト的な概念を持ち込めないかと模索してきましたが，Airflow + Slack は個人的には一つの理想形と言えます． Apache Airflow とは？ Apache Airflow は，プログラムでジ
Building Data Pipelines with Apache Airflow
https://www.meetup.com/Tokyo-Apache-Airflow-incubating-Meetup/events/238731591/
Installing and Configuring Apache Airflow - Home
Apache Airflow is a platform to programmatically author, schedule and monitor workflows – it supports integration with 3rd party platforms so that you, our developer and user community, can adapt it to your needs and stack. Additional Documentation: Documentation: https://airflow.incubator.apache.org/ Install Documentation: https://airflow.incubator.apache.org/installation.html GitHub Repo: https:
Setting up an Apache Airflow Cluster - Home
In one of our previous blog posts, we described the process you should take when Installing and Configuring Apache Airflow. In this post, we will describe how to setup an Apache Airflow Cluster to run across multiple nodes. This will provide you with more computing power and higher availability for your Apache Airflow instance. Airflow Daemons A running instance of Airflow has a number of Daemons
Apache Airflow
Apache Airflow™ Airflow™ is a platform created by the community to programmatically author, schedule and monitor workflows. Install Airflow™ Scalable Airflow™ has a modular architecture and uses a message queue to orchestrate an arbitrary number of workers. Airflow™ is ready to scale to infinity. Dynamic Airflow™ pipelines are defined in Python, allowing for dynamic pipeline generation. This allow
Home
Apache Airflow™ Airflow™ is a platform created by the community to programmatically author, schedule and monitor workflows. Install Airflow™ Scalable Airflow™ has a modular architecture and uses a message queue to orchestrate an arbitrary number of workers. Airflow™ is ready to scale to infinity. Dynamic Airflow™ pipelines are defined in Python, allowing for dynamic pipeline generation. This allow
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud Composer | Google Cloud
Workflow Management - Amazon Managed Workflows for Apache Airflow (MWAA) - AWS
Cloud Composer | Google Cloud
Cloud Composer overview | Google Cloud
Cloud Composer | Google Cloud
GitHub - apache/airflow: Apache Airflow - A platform to programmatically author, schedule, and monitor workflows