EmbulkEmbedで自作プラグインを扱う方法 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 EmbulkをJavaアプリケーションから呼び出す際に、自作のアウトプットプラグインを使う方法をメモ。 自分の目論見としては、EmbulkでRDBのテーブルからデータを読み込み、Asakusaアプリケーションの入力としたい。 AsakusaFWではImporter（Format・Reader）を作れば独自の読み込み処理が出来るので、Embulkと連携できないかなーと考えた。 そこで、まず、Embulkの出力部分であるアウトプットプラグインの使い方を見てみた。それ自体は意外と簡単。（googleライブラリーのインジェクション機構の使い方は Xtextである程度知っていたおかげでもある） で、結論から言うと、上記の方式のEmbulk-AsakusaFW連携は難しそう。 Emb
Embulk 0.3 & 0.4 の新機能 - リジュームとJavaプラグイン - Blog by Sadayuki Furuhashi
つい先日*1、Embulk の新しいメジャーバージョンを2つリリースしました。 これらのバージョンでは、データ転送ミドルウェア勉強会で得られたフィードバックを元に、リジューム機能、Javaプラグイン機能、そして プラグインテンプレートジェネレータ を追加しています。 リジューム機能 大きなデータをロードする場合、大部分のデータのロードには成功するが、一部だけ失敗してしまうことは良くあることです。ネットワーク障害、サーバの過負荷などの他に、エラー処理が不完全であるなど原因は様々考えられますが、そのためだけに全データをすべてロードし直すのは大変な手間です。 そこでEmbulkでは、分割された複数のタスクのうちの一部だけが失敗した場合に、それらのタスクを後からリトライできる仕組みを導入しました。 使い方は、embulk run に --resume--state PATH オプションを指定するだ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
