Airflowとdbtを使ったパイプライン構築
順を追って作業したので、備忘程度に記載する。私自身のキャッチアップも兼ねて Dockerによる環境の準備 dbtの設定・構築 Airflow側の設定・構築 dagでの記載例 (trocco => dbt) 環境の準備 Dockerを使ってAirflowを用意します。早く環境を立ち上げたいので、dbt等も一緒にイメージに入れてしまいます。 docker-compose ちょっと古いですが、2.1.0のversionを使います（composeのコードも短かったので） curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.1.0/docker-compose.yaml' 一部書き換えます。書き換えている内容としては Dockerfileからイメージを作成するように変更 編集しやすいようにvolumeに構成したフォルダをマウントさせ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scalable Analytics Architecture With Airflow and dbt