Analystのスループットを継続的に最大化させるデータ基盤の運用思想
によるエウレカのデータ組織運営の1年間でした。今日はこの話に関連して、もう少し具体的にEureka BIチームのAnalystの分析フローを支える分析環境について書きます。主に運用の思想や仕組みづくりの紹介になります。 想定読者Data Lake・Data Ware House・Data Martなどのデータ基盤周辺知識があるAnalystを活かすデータ基盤の開発運用に興味がある前置きBIチームの紹介やAnalystの業務フローに関する前置きが少し長くなりますがお付き合いくださいませ。 お急ぎの方は、本題まで飛ばしてください。 チームのミッションとデータ基盤BIチームは、「価値のある意思決定」と「意思決定の効率化」を推進することをミッションにおいているチームです。 ミッション実現に向けて、最近は以下の2軸を強化したいと考えています。 Analystが「価値のある意思決定」を創出するためのプ
PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 👍: 良い 👍👍: より良い Airflow 2015年にAirbnb社からリリースされました。 Airflowは、Pythonコード（独立したPythonモジュール）でDAGを定義します。 （オプション
一休のデータフローをAirflowを使って実行してみる - Qiita
AirflowにはExecutorというものがあって、 使用するExecutorによって処理の方法が並列になるのか直列にするかを選ぶことができます。 今回はCeleryを使用したExecutorを選択しています。 上記のコマンドだけで以下にアクセスすることができます。 Airflow管理画面: localhost:8080 Flower: localhost:5555 実装 まずは個別の処理を書きます。 例として1日分のホテル情報をDBから取得してきてCSVに保存する処理を書いています。 import pandas import datetime from jinja2 import Template def make_hotel_table(**kwargs): # データ取得するsqlの実行 #実行日時の取得 execution_date = kwargs.get('execution
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
