リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら エンジニアの秋庭です。 本記事では、Pythonのバッチ処理フレームワークLuigiの紹介をしつつ、読みやすいデータ処理の実装について書いていきます。 さて、本記事を書くに至った理由ですが、分析コードのリファクタリングに苦労した経験からです。具体的には、 データ処理に必要なファイルや処理の依存関係がわからない 分析用の自作クラスや関数の使い方がわかりづらい などなどです。 上記のようなちょっと管理が難しいコードが生まれてしまうのは、「試験的な運用だから…」とか「2週間しか動かさないコードだから…」 とか大人の事情があったりする場合もありますが、とにかくコードがきれいなことに越したことはありません。 また、さまざまな開発ツールやフレームワーク
![Luigiでデータ処理をきれいに書こう | リクルート](https://cdn-ak-scissors.b.st-hatena.com/image/square/a6a3ddab43b53cf05b958fd469d19d6998021088/height=288;version=1;width=512/https%3A%2F%2Fwww.rco.recruit.co.jp%2Fcareer%2Fengineer%2Fblog%2Fimg%2F2017%2F02%2Fluigi_tutorial001.png)