embulkで処理する各レコードにprocを適用して加工するembulk-filter-ruby_procを作った - Qiita

embulkのプラグインを一つ作りました。 joker1007/embulk-filter-ruby_proc embulk-filter-eval というプラグインがあって、Rubyのコードをそのままevalするんで何でもできるんですが、一レコード毎に毎回evalするのはデータ量多くなってくると効率悪いだろうと思い、もうちょっと自由度下げても良いならprocだけ事前に準備してしまえばいいだろうという発想で作ったプラグインです。 もう自由に何でもかんでもやりたい場合は、filter-evalを使いましょう。 config # ... filters: - type: ruby_proc requires: - cgi columns: - name: data proc: | ->(data) do data["events"] = data["events"].map.with_inde