Embulk YAMLメモ(Hishidama's Embulk YAML Memo)
コロン「:」の直後の空白は必須のようだ。[2015-10-31] 行頭にハイフン「-」があるのは、配列（の各要素）。 値のリスト（一覧）を記述するもののようだ。 一行で記載したい場合は角括弧で囲む。[2015-10-31] 角括弧で囲む方法 複数行に分けて記述する方法 EmbulkのYAMLファイルの構造 EmbulkのYAMLファイル（よくconfig.ymlというファイル名で例が挙げられている）だと、まず、キーが「in」や「out」となっているハッシュを指定する。 config.yml： in: ～ out: ～ inやoutの値はさらにハッシュなので、波括弧で囲んだブロックにしてもいいだろうが、数が多いので、複数行に分けて記述しているのだろう。 複数行にする場合は、インデントを増やし、各行のインデント（桁位置）は統一する。 config.yml： in: {type: file, p
Embulkのエラー処理について調べてみる - 今日もプログラミング
自分はEmbulkを業務システムに組み込むことを考えている。 となると、気になるのはエラー処理。 エラー時にどんな挙動になるかを確認しておきたい。 Embulkのプラグインの組み合わせは多数あるが、とりあえず想定しているのはCSVファイルを読み込んでRDB（例えばOracle）に突っ込む処理なので、この組み合わせで確認してみる。 正常終了 一応正常終了時の終了コードも確認しておく。 当然、0だった。 CSVファイルのエラー 列が多い行がある場合 こんなログが出力された。 2015-04-08 22:48:46.731 +0900 [WARN] (task-0000): Skipped (line 18): 17,1360,... org.embulk.standards.CsvTokenizer$TooManyColumnsException: Too many columns at or
embulk-output-redshiftのパフォーマンスを計測してみた - 今日もプログラミング
embulk-output-redshiftを使えばテキストファイルを簡単にAmazon Redshiftにインポートできる。 だが、やはり気になるのはパフォーマンスだ。 という訳で、embulk-output-redshiftのパフォーマンスを計測してみた。 計測環境 AWSのリージョンはTokyoを使用した。 Redshiftのインスタンスはdc1.large。クライアントのインスタンスはm1.xlarge（4コア）だ。 インポート先のテーブルは、以下を用意した。 create table example ( id integer, num decimal(12,0), value1 varchar(60), value2 varchar(60), value3 varchar(60), value4 varchar(60), value5 varchar(60), value6 va
EmbulkでRedshiftにデータをロードしてみる - 今日もプログラミング
今回は、EmbulkでRedshiftにデータをロードするのを試してみたい。 マシンの準備 まずはRedshiftのインスタンスを準備する。 とりあえずは動作確認なので、一番安いdw2.largeにした。 うちの社内からデータをロードしようとすると、ユーザ認証が必要なプロキシを越えなきゃいけないので、めんどい。 そこで、EC2のインスタンスを立ち上げ、そこからロードすることにした。 テーブルの準備 JDBCドライバをダウンロードし、Redshiftのセキュリティ設定をして、SQLクライアントから接続する。 そこそこいろいろな型があるテーブルを作ってみた。 create table test1 ( id char(4), varchar_item varchar(20), integer_item int, numeric_item numeric(10,2), date_item date
EmbulkのCSV parserのスキーマをDBメタ情報により定義する - 今日もプログラミング
DBメタ情報からCSVの列を定義したい EmbulkでCSV parserを使うときは、ymlファイルに列の定義を書く必要がある。 Embulkにはguessという便利な機能があって、CSVファイルから列の定義を出力することもできる。 だけどCSVファイルをDBにロードする場合は、ロード先のDBのメタ情報から動的に列を定義できないかな？と考えたのだ。 項目が追加されたりした場合でもymlを修正しなくてよい テーブルがたくさんある場合でもymlをコピーしてテーブル名を直すだけでよい guessがだまされる特殊なケース（一見YYYYMMDDで日付型っぽいけど実は文字列型で'99999999'のような値がまれに出現する列とか）でも大丈夫 のように、あると便利そうだ。 どうやって実現するか？ CSVパーサを一から書くのは大変なので、まずはCsvParserPluginを継承する。 transact
Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita
Embulk(エンバルク) (2016/10/05からロゴが変わりました。変更理由) Embulkのまとめ2ndを作ってます。 Embulk v0.11 でなにが変わるのか: ユーザーの皆様へ をご一読ください。 更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。 2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています 種類 バージョン ロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう 2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。 この記事は、Embulkってなに？、どんなプラグインがあるの？、どうやって独
Embulk(エンバルク)プラグインのまとめ - Qiita
embulk gem search embulk-filter -r 2015-05-30 18:20:50.064 +0900: Embulk v0.6.10 *** REMOTE GEMS *** embulk-filter-eval (0.1.0) embulk-filter-speedometer (0.2.2) Inputプラグイン RDBMS & NoSQL Embulk(エンバルク) データベースプラグイン覚書も参照ください。 embulk-input-mysql MySQLのテーブルからデータを取得するJDBCプラグイン embulk-input-postgresql PostgreSQLのテーブルからデータを取得するJDBCプラグイン embulk-input-jdbc JDBC用プラグイン Oracleなど接続用 Oracleは使えるはずDB2は要書き換え。 SQLit
Embulkでデータロードする(2) – AWS S3, Redshift – OpenGroove
前回に引き続き、Embulkを利用したデータロード。今回はAWS S3及びRedshiftへのロードを試す。基本セッティング等は前回投稿を参照されたし。実行環境はMac(Yosemite)。 1. S3へロード input:MariaDB, output:S3とする。MariaDBの方は前回投稿でCSVからロードしたデータが残っているためそのテーブルを利用する。ちなみにこんな状態。 Table:access +--------------+-----------+---------------------+ | country_code | access_id | access_time | +--------------+-----------+---------------------+ | MD | 85049 | 2015-07-13 11:48:29 | | DO | 83358
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Embulk: Plugins
A-AUTO 50 開発者ブログ