luigiでタスク実行にかかった時間を取得する - Qiita

訳あって、OSSのデータフロー制御ツールであるluigiで書かれたジョブのログを調べていたのだが、DEBUGとかの「そこは別にいいよ」というメッセージを結構大量に出す割に、実行したタスクがどれくらい時間がかかったかをログに出さないのである。 しかもログメッセージにデフォルトではタイムスタンプがついていない！ なんともなluigiさんだが、その後調べた結果、タスクの実行時間が取れる方法が分かったのでメモしておく。 環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ python -V Python 2.7.5 $ PYTHONPATH='.' luigi --module top_artists AggregateArtists --local-scheduler --date-interval 2012-0

[sh19910711]

PROCESSING_TIME / `luigi.Task.event_handler(luigi.Event.PROCESSING_TIME)` / "このPROCESSING_TIME機構だが、結構古いバージョンから実装されているようで、1.0.17あたりから入っている"