Embulkのリジューム実行/差分実行について - Qiita

まずはリジューム実行についてです。 Embulkの場合は以下のようなコマンドで-r(--resume-state)オプションを使用して実行可能です。 # 初回実行 embulk run config.yml -r resume-state.yml # コケたところから再実行(resume-state.ymlに成功したタスクの情報が書かれている) embulk run config.yml -r resume-state.yml # 諦めてcleanup処理 embulk cleanup config.yml -r resume-state.yml ロードが一部失敗した場合には、resume-state.ymlに以下のように成功したタスクの情報が保存されます。 これはGoogle Cloud Storageに入っているgzip圧縮されたCSV3ファイルの中の1ファイル(sample_03.c

[sonots]

差分実行、万全を期すために取り込む直前に select max(id) みたいなのを取り込み先に投げて、その結果を使いたいんだよなー

[toyama0919]

Memo