embulk 0.9.0 で embulk gem がリリースされなくなった件について - Qiita
embulk >= 0.9.0 から embulk gem が個別にリリースされなくなりました。 では、jruby プラグインから Embulk なライブラリを使うにはどうすれば良いかというと、embulk.jar に同梱されている embulk gem を使う形になります。 これによってどういう影響があるかというと、主には以下の２つに影響が出ているので、それについて記載します。 embulk run -b jruby プラグインのテストの書き方 embulk run -b /path/to/Gemfile embulk >= 0.9 で embulk run -b を使いたい場合は、Gemfile に を書いておく必要があります。embulk < 0.9.0 では必要ありませんでした。 bundler は Gemfile.lock に書かれているものだけをロード対象にするので、gem '
embulk mkbundle または embulk bundle の使い方 - Qiita
embulk mkbundle および embulk run -b を使うと、embulk のプラグインを Gemfile/Gemfile.lock でバージョン管理できるようになる。その使い方。 [更新履歴] 2019/02/09 embulk >= 0.9.0 で gem 'embulk' が必要になったので注記 2015/11/06 mkbundle コマンドが生えたので記事を修正。v0.7.8 以降で有効 https://github.com/embulk/embulk/pull/334 https://github.com/embulk/embulk/pull/335 基本の使い方 １. embulk mkbundle すると、Gemfile やプラグインの雛形(gem にせずに読み込みたいプラグイン)が作られる $ embulk mkbundle bundle_dir Crea
Embulkのリジューム実行/差分実行について - Qiita
まずはリジューム実行についてです。 Embulkの場合は以下のようなコマンドで-r(--resume-state)オプションを使用して実行可能です。 # 初回実行 embulk run config.yml -r resume-state.yml # コケたところから再実行(resume-state.ymlに成功したタスクの情報が書かれている) embulk run config.yml -r resume-state.yml # 諦めてcleanup処理 embulk cleanup config.yml -r resume-state.yml ロードが一部失敗した場合には、resume-state.ymlに以下のように成功したタスクの情報が保存されます。 これはGoogle Cloud Storageに入っているgzip圧縮されたCSV3ファイルの中の1ファイル(sample_03.c
並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi
こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタイムなログ収集では常識となった fluentd のバッチ版のようなツールで、ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 fluentd と同様にプラグイン型のアーキテクチャを採用 しているため、RubyやJavaで簡単なコードを書くことで、様々なファイルフォーマットやストレージに対応することができます。一方で fluentd とは異なり、高速性やトランザクション制御、スキーマを使ったデータのバリ
embulk bundleだけでJavaで書かれたプラグインをインストールし利用する方法 - Qiita
以前embulkのjava pluginをbundlerっぽくgithubからインストールして実行できるラッパーを作った - Qiitaという記事を書いた。 要はJava製のプラグインをgithubから直接インストールしてリリース前のものを使いたいというものだ。 で、コマンドをラップするgemを作ってみたのだが、DSLの挙動をちゃんと制御するのは面倒だしコマンドをラップするのは色々とポータビリティが悪い。 しかし、ある時天啓が降りてきた。 「Bundlerを弄ればいいや」と。 で、ソースコード読んで、gemspecの判別がどうなってるのかとモンキーパッチを当てるのにちょうど良い場所を探して試してみた所、とてもシンプルなハックで上手くいった。 Gemfile上でBundlerにモンキーパッチを当てるというダーティさに目を瞑れば割と便利ではないだろうか。 こんな風に書く。 require 'b
MySQLからBigQueryへのデータロード
はじめまして、エンジニアの古堀です。 Aimingではログの分析ツールとしてGoogleのBigQueryを利用しています。 ゲームプレイのログを集計、分析して機能開発、改善の指針として活用しています。 実際に運用に乗せてみるとログだけでは情報が足りず、ユーザー情報やマスターデータなども必要であると気付きました。そこでMySQLのデータをBigQueryに反映させる試みに取り組んだので紹介したいと思います。 BigQueryの特長と言えば以下の2点ですが、実際に使用してみるとGoogleアカウントでの認証や権限設定なども便利だと感じますね。 クエリーの処理速度が速い(数十億件のテーブルでも数十秒で結果が返ってくる) 費用が安い Embulkの採用 MySQLのデータをBigQueryに反映するツールとして Embulk を利用しています。 以下の理由からEmbulkを採用しましたが、最新技
Big Sky :: embulk-plugin-twitterstream 書いた。
先日は遊びで embulk-plugin-vim なんていうのを作ったのだけど mattn/embulk-plugin-vim - GitHub https://github.com/mattn/embulk-plugin-vim 今日のはもうちょっと遊んで、TwitterStream から入力を得る物を作った。設定は以下の様にします。 exec: {} in: type: twitterstream consumer_key: XXXXXXXXXXXXXXXXXXXXXX consumer_secret: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX access_token: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX access_token_secre
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Embulk + pg_bulkloadでPostgreSQLに高速データロード！ - Qiita