並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi

こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタイムなログ収集では常識となった fluentd のバッチ版のようなツールで、ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 fluentd と同様にプラグイン型のアーキテクチャを採用 しているため、RubyやJavaで簡単なコードを書くことで、様々なファイルフォーマットやストレージに対応することができます。一方で fluentd とは異なり、高速性やトランザクション制御、スキーマを使ったデータのバリ

[naga_sawa]

バルクデータ転送ツールのEmbulk/これを知っていれば CSV -> ElasticSearch への流し込みも楽だったのだろうか

[stumsky]

これ気になる！ 並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi

[tinsep19]

こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタイムなログ

[smbd]

guess機構(設定ファイルの自動生成)おもしろいなー

[yohane00]

並列データ転送ツール『Embulk』リリース！

[nntsugu]

ゲキアツ

[eller]

なんか来た。

[mazgi]

"fluentdを導入したけど大量に残った過去データもロードして解析したい"ありますね

[hatajoe]

便利そう。fluentdもそうだけどパイプ的なソフトウェアっていいなぁ

[k-holy]

KEN_ALL向けソリューション？

[jinjor]

明日読む。

[tak4hir0]

並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi

[wasai]

これは気になる

[sendsage]

並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi

[tokida]

並列データ転送ツール『Embulk』リリース！ - | 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。

[yatmsu]

データ転送と聞いてHULFTを思い出した / 並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi

[kinunori]

使わせていただきます

[yoshi0309]

“プラグインはJVMで動く言語なら何でも良いので、ScalaやClojureでも書ける…はず。”

[infobloga]

fluentdの開発者によるデータ転送ツール。次世代標準になる可能も高そう。ちょっと様子見だけど、実運用に耐えそうなら、早めに導入してみても良いかもしれない。

[ya--mada]

おぉ、面白そうな

[honeybe]

すばらしい。どこかで使ってみたい。

[masudaK]

使おう。

[jojo800]

おぉ

[masutaka26]

"fluentdを導入したけど大量に残った過去データもロードして解析したい"

[n0ts]

Embulk!!!

[b-wind]

“これを扱うためにEmbulkのCSVファイルパーサプラグインには、8つもの挙動オプションがあります”

[ksss9]

さすがだ