LuigiでバッチJobワークフローを実行してみた | DevelopersIO
こんにちは、三上です。 気付けば2017年も1ヶ月が過ぎ去り。。（日付とか、気を抜いてるとまだ "2016" などと書いてる自分が。。。 はじめに Python勉強中です。 Pythonのスクリプト言語的な手軽さが楽しいです！v 今回、Pythonで書いたバッチのJobワークフローエンジンを検討するにあたり、Luigiをさわってみました。 Luigiって何？ PythonでバッチJobのワークフロー管理してくれるヒト（全部 Pythonコード スケジューラー機能はない（ので、cronからluigiを実行する Jobに依存関係を持たせたい場合、if文ばしばしなコード書かなくて良いのでコードの可読性が上がる Luigi Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO OSSのワークフローエンジンを使ってみた感想 ｜ Qiita データフロー制御フレームワ
Python: データパイプライン構築用フレームワーク Luigi を使ってみる - CUBE SUGAR CONTAINER
最近になって、バッチ処理においてデータパイプラインを組むためのフレームワークとして Luigi というものがあることを知った。 これは、Spotify という音楽のストリーミングサービスを提供する会社が作ったものらしい。 似たような OSS としては他にも Apache Airflow がある。 こちらは民宿サービスを提供する Airbnb が作ったものだけど、最近 Apache に寄贈されてインキュベータープロジェクトとなった。 Luigi の特徴としては、バッチ処理に特化している点が挙げられる。 ただし、定期的にバッチ処理を実行するような機能はない。 そこは、代わりに cron や systemd timer を使ってやる必要がある。 また、本体もそうだけどデータパイプラインについても Python を使って書く必要がある。 今回は、そんな Luigi を一通り触ってみることにする。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
