luigiのtargetを自分で書くための解説 - エムスリーテックブログ
こんにちは、エムスリーエンジニアリングG AIチームなんでも担当の安田(@dasoran2)です。最近 Hearts of Iron IV で世界対戦に勤しんでいます。 なにやらluigiが流行っているらしいので、一部カスタマイズをしました。 本記事はluigiの本家のコードのざっくりとした(Targetに必要な部分の)概要とやり方についてです。 なお、本文中のコードはコメントの削除等いくつか加工しています。 luigiについて luigiはspotifyの開発しているワークフローフレームワークです。 github.com 詳細や使い方などは以前他の方が書いた記事を参照してください。 www.m3tech.blog luigiのファイル構成を眺める 早速ですがluigiリポジトリの構成を眺めて行きましょう。 luigiのリポジトリはざっくり以下のようになっています。 / luigi/: l
機械学習で便利なluigiフレームワークの紹介 - エムスリーテックブログ
AI・機械学習チームリーダーの西場(@m_nishiba)です。 チームの機械学習系の開発にパイプラインフレームワークとしてluigiを使っています。 (実際にはluigiをラップしたようなモジュールを作っています。そのうち公開しようと思っています。) 今回は、luigiの使い方について紹介しようと思います。 (luigi==2.7.5で動作確認を行っています。) 基本的な使い方 Taskの基本的な書き方 luigiのタスクを作るには、luig.Taskを継承し、下記３つのメソッドをオーバーライドすれば良いです。 requires() 依存している他のTaskを返します。このタスクのrunが呼ばれる前にこの関数が返すTaskのrunが呼ばれます。 戻り値はTaskやTaskのlist, dictとなります。 run() Taskの実行ロジックを定義します。inputとして、requires
予約導線をささえるPython製バックエンドをLuigi+pandas+Scrapyで作ったハナシ - Qiita
この記事は Retty Advent Calendar 2017 24日目です. 昨日は@udoooom さんの 「カワイイはつくれる」 でした. Rettyのサーバサイドエンジニア兼魚料理担当のnakagawa(@shinyorke)ともうします. 好きな魚料理は「青魚の南蛮漬け」1,趣味は野球のデータ分析です.2 気がつけばRetty Advent Calendar 2017三回目の登場です,今日もPythonのハナシで吟じます,よろしくお願いします テーマ「Pythonでのバックエンド開発」 一言で言うと, Pythonでバックエンド（バッチ処理）をオールインワンで作った時のノウハウとなります. 他社様のサービスとデータ連携する基盤をPython + Docker + AWS ECSで作った＆運用している（今年から） Pythonライブラリ（Jupyter notebook, req
Python: データパイプライン構築用フレームワーク Luigi を使ってみる - CUBE SUGAR CONTAINER
最近になって、バッチ処理においてデータパイプラインを組むためのフレームワークとして Luigi というものがあることを知った。 これは、Spotify という音楽のストリーミングサービスを提供する会社が作ったものらしい。 似たような OSS としては他にも Apache Airflow がある。 こちらは民宿サービスを提供する Airbnb が作ったものだけど、最近 Apache に寄贈されてインキュベータープロジェクトとなった。 Luigi の特徴としては、バッチ処理に特化している点が挙げられる。 ただし、定期的にバッチ処理を実行するような機能はない。 そこは、代わりに cron や systemd timer を使ってやる必要がある。 また、本体もそうだけどデータパイプラインについても Python を使って書く必要がある。 今回は、そんな Luigi を一通り触ってみることにする。
LuigiでバッチJobワークフローを実行してみた | DevelopersIO
こんにちは、三上です。 気付けば2017年も1ヶ月が過ぎ去り。。（日付とか、気を抜いてるとまだ "2016" などと書いてる自分が。。。 はじめに Python勉強中です。 Pythonのスクリプト言語的な手軽さが楽しいです！v 今回、Pythonで書いたバッチのJobワークフローエンジンを検討するにあたり、Luigiをさわってみました。 Luigiって何？ PythonでバッチJobのワークフロー管理してくれるヒト（全部 Pythonコード スケジューラー機能はない（ので、cronからluigiを実行する Jobに依存関係を持たせたい場合、if文ばしばしなコード書かなくて良いのでコードの可読性が上がる Luigi Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO OSSのワークフローエンジンを使ってみた感想 ｜ Qiita データフロー制御フレームワ
アドベントカレンダーを振り返ってみる | Luigi Advent Calendar 2016 #25 | DevelopersIO
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 このエントリは『Luigi Advent Calendar 2016』25日目の内容となります。 最終日なので、ここまでのアドベントカレンダーを振り返ってみたいと思います。 先日24日目はMySQLからRedshiftへLoadするタスクを作ってみた。その2(S3 → Redshift)でした。 まとめ エントリーの一覧は、Luigi Advent Calendar 2016を御覧ください。 以下は、こぼれ話をちょこちょこと。 Luigiで実装されたタスクの読み方や考え方を把握することができた。 １人アドベントカレンダーをやらないかと言われ、題材を決めたが良い開始当初は全くと行っていいほどLuigiの思想も読み方もわかりませんでした。 つい先日、Luigiで実装されたタスクの挙動を確認するような場面があったのですがアドベントカ
S3のファイル一覧取得と削除を行なってみた | Luigi Advent Calendar 2016 #10 | DevelopersIO
はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 このエントリは『Luigi Advent Calendar 2016』10日目の内容となります。 今回はS3のファイル一覧取得と削除を行なってみたいと思います。 先日9日目はS3のファイルを参照してみたでした。 LuigiはS3の操作用にBotoをラップしたモジュールを提供しています。 前回、前々回とファイルの書き込み・参照を行なっていました。 今回はLuigiのS3モジュールが提供している他の機能について調べてみます。 下準備 S3に以下のようなファイルが置かれていることを前提とします。 $ aws s3 ls s3://cm-kajiwara-luigi-study/target 2016-11-18 20:34:50 0 target1.tsv 2016-11-18 20:34:59 0 target2.tsv 2016
Luigi逆引きリファレンス - Qiita
import luigi class MyTask(luigi.Task): date = luigi.DateParameter() def requires(self): return MyDependentTask(self.date) def run(self): with self.output().open('w') as output: with self.input().open('r') as input: for line in input: ret = do_something(line) output.write(ret) output.write('\n') def output(self): return luigi.LocalTarget('./out2_{0}.txt'.format(self.date.isoformat())) class MyDepen
Luigi によるワークフロー管理 - Qiita
Workflow Hacks! #1 が開催されるなど、データ分析のワークフロー管理が見直されつつある今日この頃ですが、Treasure Data 社内ではこれまでのところ Luigi を主なツールとして利用しています。ここでは Luigi を使ったワークフローがどのようなものであるかを紹介します。 （追記: 2016-09-18）その後、社内ワークフローは Digdag（主にSQLのクエリ実行に利用）、及び Airflow（主にスクリプトの実行に利用）へと置き換わり、Luigi を利用することはほぼなくなりました。 ワークフロー管理ツールとは？ データ分析における「ワークフロー管理ツール」とは、データ処理の過程で必要となる一連のタスク(データのロードや、クエリの実行など)を自動化し、管理するために設計されたソフトウェアです。例えば、毎日決まったタスクをスケジュール実行したり、問題が起きた
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
