Luigi Advent Calendar 2016 | DevelopersIOMySQLからRedshiftへLoadするタスクを作ってみた。その2(S3 → Redshift) | Luigi Advent Calendar 2016 #24
LuigiでバッチJobワークフローを実行してみた | DevelopersIO
こんにちは、三上です。 気付けば2017年も1ヶ月が過ぎ去り。。（日付とか、気を抜いてるとまだ "2016" などと書いてる自分が。。。 はじめに Python勉強中です。 Pythonのスクリプト言語的な手軽さが楽しいです！v 今回、Pythonで書いたバッチのJobワークフローエンジンを検討するにあたり、Luigiをさわってみました。 Luigiって何？ PythonでバッチJobのワークフロー管理してくれるヒト（全部 Pythonコード スケジューラー機能はない（ので、cronからluigiを実行する Jobに依存関係を持たせたい場合、if文ばしばしなコード書かなくて良いのでコードの可読性が上がる Luigi Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO OSSのワークフローエンジンを使ってみた感想 ｜ Qiita データフロー制御フレームワ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
spotify/luigi · GitHub -- Luigi is a Python module that helps you build complex pipelines of batch jobs. It handles dependency resolution, workflow management, visualization etc. It also comes with Hadoop support built in.
