AirflowでJinjaテンプレートを使ってSQLを実行する - 株式会社ライトコード
こんにちは、普段は分析基盤や分析のお仕事をしている新田です。 この記事では、AirflowでJinjaテンプレートを活用したSQLクエリを動的に生成し、BigQueryでそのクエリを実行する方法をまとめます。 JinjaはPythonのテンプレートエンジンで、HTMLを動的に生成するために使われることが多いですが、SQLでも「大体同じなのに少し違うクエリ」が複数あるようなときに大活躍しますよ。 AirflowでJinjaテンプレートを使う方法 AirflowはなんとデフォルトでJinjaテンプレートエンジンをサポートしています。 特に何もしなくてもDAGでJinjaのプレースホルダや変数をタスクのパラメータやクエリ内で直接使用することができます。 また、Operatorに引数を渡すことで渡した引数を埋め込むことができます。 SQLのテンプレートファイルを作成する まずは、SQLファイルを作
Airflow Breeze を使ったローカル環境構築
このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。
Airbnbの「Airflow」を試す
こんにちは。最近pythonと戯れているmatsです。 6月の頭にこんなリリースがありました。 今回はこの「Airflow」を試してみようかと思います。 Airflowとは 「Airflow」はAirbnbがオープンソースとして公開したワークフロー管理プラットフォームです。 データパイプラインを規模に応じてタイムリーにオーサリング、スケジューリング、モニタリングすることができ、過去数年間で爆発的に成長したAirbnbにとっては不可欠な存在とのこと。 ソースコード： https://github.com/airbnb/airflow/ ドキュメント： http://pythonhosted.org/airflow/ Airflowのインストール Airflowはpython製で2.7系のみの対応です。今回はAmazon Linuxにインストールを行いました。 準備 コンパイルに必要なパッケー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
