PythonのPipelineパッケージ比較：Airflow, Luigi, Gokart, Metaflow, Kedro, PipelineX - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事では、Open-sourceのPipeline/Workflow開発用PythonパッケージのAirflow, Luigi, Gokart, Metaflow, Kedro, PipelineXを比較します。 この記事では、"Pipeline"、"Workflow"、"DAG"の単語はほぼ同じ意味で使用しています。 要約 👍: 良い 👍👍: より良い Airflow 2015年にAirbnb社からリリースされました。 Airflowは、Pythonコード（独立したPythonモジュール）でDAGを定義します。 （オプション
gokartを使ってデータパイプライン上のpandas関連をテストする。 - Qiita
書くこと gokartを使ってpandas関連の確認をする方法 1つ目はinputのpd.Dataframeがemptyだったときに正常終了をするかの確認 2つ目はdumpするときに各columnが想定通りの型になっているかの確認 gokartとは? エムスリーやfringe81などが開発しているOSS Spotifyが開発しているluigiをラップして使いやすくしている。特にコードを書く量が減る。 対象バージョン 0.3.11 inputのpd.Dataframeがemptyだったときに正常終了をするかの確認 下記のコードはpd.Dataframeがemptyのときにエラーが発生する。 単体テストを書くことは前提だが、拾いきれないことが多々あった。 class DataTask(gokart.TaskOnKart): task_namespace = 'sample' def run(s
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
