変更点 (2015/12/14): JRuby プラグインの実行方法を embulk が official にサポートしている embulk run -b . の方式に変更 起動時間を短くする方法について記載 Java なプラグイン Java なプラグインの場合は
![embulk のプラグイン開発時にお試し実行するには - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b4500744ea2290d97e5e19ed6b11b389fc7101fe/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9ZW1idWxrJTIwJUUzJTgxJUFFJUUzJTgzJTk3JUUzJTgzJUE5JUUzJTgyJUIwJUUzJTgyJUE0JUUzJTgzJUIzJUU5JTk2JThCJUU3JTk5JUJBJUU2JTk5JTgyJUUzJTgxJUFCJUUzJTgxJThBJUU4JUE5JUE2JUUzJTgxJTk3JUU1JUFFJTlGJUU4JUExJThDJUUzJTgxJTk5JUUzJTgyJThCJUUzJTgxJUFCJUUzJTgxJUFGJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02MjY1OTgzMDFjMTZiOTYxYmIwNWZkMTNlMDNkNDM0Yw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwc29ub3RzJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01MzNjMGRkMTczNzNkYWZmMWRkYmE4Njg3YzAyMjNjNg%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Deb628f510afd04bd9f61065494ddb624)
Embulk のプラグインを作るにあたって、pure java と jruby でどれぐらい速度差が出るのか気になったので、それぞれ同じ動作をする簡単なプラグインを作って速度比較してみた。 java版 https://github.com/sonots/embulk-filter-java_pass ruby版 https://github.com/sonots/embulk-filter-ruby_pass このプラグインは、入力データをそのまま通すだけの filter プラグインで、ruby 実装だととても単純で、ただ入力を page_builder に add するだけになっている。 def add(page) page.each do |record| @page_builder.add(record) end end Java 版だと型があるので、Visitor を使ってもう少し
Embulk Advent Calendar 2015の8日目の記事です。 こんにちは @sonots です。昨日に引き続き、淡々と拙作のプラグインの紹介をしようと思います。 本日紹介するのは embulk-output-vertica プラグインです。 URL: https://github.com/sonots/embulk-output-vertica 弊社以外にまだユーザがいなさそうなプラグインですが、Vertica 運用の知見を盛り込んだ出来になっているのがこちらのプラグインです。なんと Vertica にデータを投入することができます。See Also 何故DeNAがverticaを選んだか? 先日書いた embulk-filter-column や embulk-filter-row はパフォーマンスを考えて JRuby ではなく Java で書いているのですが(See Al
Embulk Advent Calendar 2015の7日目の記事です。 こんにちは @sonots です。淡々と拙作のプラグインの紹介をしていこうと思います。文量が多くなったのと明日、明後日が空いていたので、記事を分けて 7日目: embulk-filter-column および embulk-filter-row 8日目: embulk-output-vertica 9日目: embulk-parser-none および embulk-filter-stdout のように紹介していこうと思います。 URL: https://github.com/sonots/embulk-filter-column カラムの絞り込みをするための filter プラグインです。 弊社での Embulk のユースケースは、主に HDFS に格納されているログを Vertica に移し替えるという作業なの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く