[B! Java][Embulk] clavierのブックマーク

Embulkの環境を丸ごとコピーする - 今日もプログラミング

Embulkでプラグインをインストールすると、実行ユーザのホームディレクトリの下に.embulkディレクトリができて、gemがインストールされる。別の環境でも同じようにEmbulkを動かすには、Javaをインストールして、Embulkの実行ファイルをコピーして、ホームディレクトリもコピーするだけ。なんだけど、アプリケーションはホームディレクトリではなくてアプリケーション用のディレクトリにまとめたい、ということもある。そこで、その方法について調べてみた。 Embulkのホームディレクトリ ".embulk"でgrepしてみると、embulk_bundle.rbに以下のコードがあった。 user_home = java.lang.System.properties["user.home"] || ENV['HOME'] unless user_home raise "HOME envir

clavier 2016/01/08

Embulk
Java

リンク

複数行からなるログを解析するために、EmbulkのparserプラグインをRubyで開発する話（準備編） - 無印吉澤

最近、仕事の関係で、1個のログが1行〜複数行からなる特殊なログを解析する必要があり、Rubyでパーサを書く機会がありました。しかし、そういえばこのパース処理ってEmbulkを使えばより簡単に作れて、かつ機能追加（パース結果をデータベースに入れるとか）が可能になるんじゃないか、と思い、parserプラグインをRubyで開発する方法を調べてみました。ちなみに、Fluentdのin_tailプラグインのmultilineで頑張って分析することも考えたのですが、先日のTreasure Data Tech Talkの懇親会で古橋さんに相談したところ、「パーサの処理が複雑なら、Embulkのparserプラグインを自分で書いたほうが楽ですよ」とアドバイスを頂いたので、今回はEmbulkで行くことにしました。 Embulkのインストール動作環境 MacBook Pro (Retina, 15-in

clavier 2015/12/25

リンク

Embulkを活用したログ管理システム

Embulk Meetup Tokyo #2 LT 自社プロダクトのログを分析するためにEmbulkを活用したログ管理システムを開発しているので、その事例と開発したプラグインの紹介をしたいと思います。

clavier 2015/12/16

Embulk
Java

リンク

EmbulkのFilter Pluginを試行錯誤しつつJavaで書いた結果 - Qiita

package org.embulk.filter; import java.util.HashMap; import java.util.Map; import java.util.Map.Entry; import org.embulk.config.ConfigSource; import org.embulk.config.Task; import org.embulk.config.TaskSource; import org.embulk.spi.Exec; import org.embulk.spi.FilterPlugin; import org.embulk.spi.Page; import org.embulk.spi.PageBuilder; import org.embulk.spi.PageOutput; import org.embulk.spi.PageRea