オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」がオープンソースで公開されました。 コミッターとして開発しているのは、ログ収集ツールとして知られるfluentdなどの開発者として知られる古橋貞之氏、西澤無我氏、中村浩士氏らで、3人が所属するTreasure Dataも開発を支援しています。 古橋氏はEmbulkについて「簡単に言うとfluentdのバッチ版です」と説明。1月27日に行われた「データ転送ミドルウェア勉強会」で、Embulkの紹介を行いました。 Embulkはプラグインベースのバルクデータローダー 古橋氏はまず、例えばCSVファイルをPostgreSQLに読み込ませようとすると、CSVの日付のフォーマットが

[nminoru]

よくわからんがETLを再発明してしまったのかしらん？

[ksss9]

embulk、もしかしてすごい便利なのでは

[tak4hir0]

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 － Publickey

[stibbar]

> 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」がオープンソースで公開されました。

[niku_uchi]

便利

[SavingThrow]

https://github.com/embulk/embulk

[tmatsuu]

atode

[doublehorn93]

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援

[YuichiTanaka]

おぉ、すごい興味ある。

[critical_alert]

こ、これは

[machupicchubeta]

これはすごい

[yojik]

良い!! いわゆるSIなギョーム系でこの手の製品はあるけど、むちゃむちゃ高いしオープンソースのものは無いし。。

[madarax11]

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 - Publickey

[mrmt]

あぁなるほど…

[kana321]

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援

[daybeforeyesterday]

そーっすか

[yukung]

今頭を悩ませてるDB移行に使えそうな気がしてきたぞ

[sue445]

興味深い

[shingok]

#slmtech

[decoy2004]

どれくらいクレンジングできるんだろう？

[launcher]

壊れた構造データは無理やり突っ込むってこと？でも実務にそってる。

[iekusup]

へー。

[tokida]

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 - | 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するための...

[minonet]

オープンソースのバルクデータローダー「Embulk」登場。fluentdのバッチ版、トレジャーデータが支援 何ギガバイトもあるCSVをデータベースに読み込ませるようなバルクデータをバッチ処理するためのツール「Embulk」...