spotify/luigi · GitHub -- Luigi is a Python module that helps you build complex pipelines of batch jobs. It handles dependency resolution, workflow management, visualization etc. It also comes with Hadoop support built in.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Luigi PyData presentation
Luigi is a Python framework developed by Spotify for defining and executing data workflows, enabling users to process large volumes of data efficiently. It emphasizes simple dependency management, integration with Hadoop, and a user-friendly command line interface, which facilitates tasks such as data aggregation and reporting. The framework is open source and has been in use since September 2012,
PythonとLuigiによるデータパイプライン構築 - Qiita
はじめに この記事は Building Data Pipelines with Python and Luigi の和訳です。 元記事がよくできていたので、自分の理解も兼ねて、拙いながらも訳してみました。 誤り等ありましたらぜひコメントでご指摘おねがいいたします。 PythonとLuigiによるデータパイプライン構築 データサイエンティストにとって、日々の業務はエンジニアリングというよりも研究開発の色が濃いことがしばしばある。にもかかわらず、プロトタイプから製品までのプロセスには、素早く泥臭い決定が次善の策1であり、けっこうな数のリエンジニアリングの努力が必要となる。これはいつも革新を遅らせ、一般的に言えば、プロジェクト全体を遅らせる。 この記事はデータパイプライン構築の経験について議論する：データの抽出、洗浄、結合、前処理などデータ駆動製品のためのデータを準備するのに必要となる一般的なす
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
