OSSとしてのEmbulkにTreasure Dataはどのように関わっているのか - Qiita
Embulk Advent Calendar 2015の1日目の投稿になります。 今年の9月にSoftware EngineerとしてTreasure Data(以下TD)に入社していた赤間(@oreradio)です。 最近はData Connector(後述)などの開発でJava/Rubyを書いています。 さて、OSSのバルクロードツールであるEmbulkが公開されて約1年が経ちました。 * 並列・分散処理、リトライ、リジューム等をサポートする * プラガブルな構造 * guessによる設定ファイル生成支援 * OSSとして公開されている などが特徴的な訳ですが、プラグインも90個近くが公開されOSSとして順調なスタートではないかと思います。 一方で本体やプラグインを含めた巨大なエコシステムをバルクロードという信頼性が求められる分野で全てOSSとして公開・メンテされる仕組みは果たして上手
Embulkのリジューム実行/差分実行について - Qiita
まずはリジューム実行についてです。 Embulkの場合は以下のようなコマンドで-r(--resume-state)オプションを使用して実行可能です。 # 初回実行 embulk run config.yml -r resume-state.yml # コケたところから再実行(resume-state.ymlに成功したタスクの情報が書かれている) embulk run config.yml -r resume-state.yml # 諦めてcleanup処理 embulk cleanup config.yml -r resume-state.yml ロードが一部失敗した場合には、resume-state.ymlに以下のように成功したタスクの情報が保存されます。 これはGoogle Cloud Storageに入っているgzip圧縮されたCSV3ファイルの中の1ファイル(sample_03.c
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
