タグ

Embulkに関するtestedqualityのブックマーク (3)

  • Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita

    OSSのEmbulkはメンテナンスモードになりました。 詳しくはこちらをご覧ください。 オープンソース・プロジェクトのたたみ方 Embulk(エンバルク) (2016/10/05からロゴが変わりました。変更理由) Embulkのまとめ2ndを作ってます。 Embulk v0.11 でなにが変わるのか: ユーザーの皆様へ をご一読ください。 更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。 2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています 種類 バージョン ロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう 2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツー

    Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita
    testedquality
    testedquality 2016/07/27
    ありがたいEmbulkのまとめ。こんなのあるならデータフォーマット希望が持てる(普段自作ばかりしている会社なのだった)
  • 【非公式】不定期刊 Embulk/Digdagニュース [2016/07/13版] | DevelopersIO

    こんにちは、最近Embulk(エンバルク)とDigdag(ディグダグ)を調べている川崎です。 このブログでは、不定期刊 Embulk/Digdagニュースとして、非公式(勝手)にEmbulk/Digdagのトピックをまとめていきたいと思います。 2016/06/27 【ブログ】【techium】ワークフローエンジンDigDagでDockerを使ってみる 2016/06/28 digdag uiの話題 ええ、digdagもためしていて、ソースも読むとweb uiありそうなのですがTDからのリリースまちですね……(@__yuunyan__さん) digdag uiはまだ組み込まれてないですが、組み込まれるとdigdag serverを起動するとweb uiも自動で利用できる様になる・・・予定・・・気合いで起動させるには自分で./gradlew runServerして・・・・略(@nora96o

    【非公式】不定期刊 Embulk/Digdagニュース [2016/07/13版] | DevelopersIO
    testedquality
    testedquality 2016/07/26
    まとめてあるかたがいた!ちょっと仕事でつかってみる。
  • Treasure Dataの新データ転送ツールEmbulkを触ってみた #dtm_meetup | DevelopersIO

    ども、大瀧です。 日開催されたデータ転送ミドルウェア勉強会で、開発者の@frsyukiさんによって語られたEmbulkを早速触ってみました。 Embulkとは EmbulkはOSSのデータ転送ソフトウェアです。もう少し細かく分類するとBulk Loaderと呼ばれる、バッチ処理のためのデータ読み込み、変換処理を行う機能を持ちます。特徴は柔軟なプラグイン構造で、データを読み込むInputPlugin、データを出力するOutputPlugin、さらに読み込み処理自体もExecutorPluginと、機能のほとんどをプラグインとして後から追加、カスタマイズできるよう高度に抽象化されたアーキテクチャになっています。データのハンドリングもプラグインでの実装を想定しているようなので、ここまで来るとミドルウェアというより、データ転送のインターフェースを定義するフレームワークの実装、という方が近い感じか

    Treasure Dataの新データ転送ツールEmbulkを触ってみた #dtm_meetup | DevelopersIO
  • 1