embulk-output-redshiftを使えばテキストファイルを簡単にAmazon Redshiftにインポートできる。 だが、やはり気になるのはパフォーマンスだ。 という訳で、embulk-output-redshiftのパフォーマンスを計測してみた。 計測環境 AWSのリージョンはTokyoを使用した。 Redshiftのインスタンスはdc1.large。クライアントのインスタンスはm1.xlarge（4コア）だ。 インポート先のテーブルは、以下を用意した。 create table example ( id integer, num decimal(12,0), value1 varchar(60), value2 varchar(60), value3 varchar(60), value4 varchar(60), value5 varchar(60), value6 va

こんにちは!! 私はメルカリでSREをしている k-oguma ( ktykogm ) です。 ちょうど1年くらい前にジョインしました。 よろしくお願いします! 今日は、タイトルの件で対応した方法をご紹介したいと思います。 それはある日突然やってきた TL;DR BigQueryへLOADさせる方法を考える 初期の検討 見直し Embulk Embulk 説明 Digdag Digdag 説明 Digdag呼び出し処理 Dry-run いざ、実行 補足: もっと高速化させたいなら 終わったあとは 最後に 参考にしたURL それはある日突然やってきた ある日、ETL作業 (データ分析基盤運用)の依頼がUSチームからやってきました。 要件は次のようなものでした。 1.4TB サイズの MySQL innodb tableを1つをBigQueryに上げる 約1年分。期間指定。 期限数日、なる早

最近Embulkを使ってMySQLのデータをBigQueryに転送する仕事をよくやっています。データに基づく意思決定を促進するための大事な仕事です。これをやっている時にたまに以下のようなエラーに出会います。 org.embulk.exec.PartialExecutionException: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet successfully received from the server was 5,024 milliseconds ago. The last packet sent successfully to the server was 5,020

Embulkを使えば、いろいろなデータを簡単にDBに突っ込めるはず。 でも、パフォーマンスが気になるよね。 という訳で、Embulkのパフォーマンスを測ってみることにした。 環境の準備 自分のマシンでパフォーマンステストをすると他のことができなくなってしまうので、AWSを使うことにした。 インスタンスタイプはどうしようか？ マルチスレッドを試したいので4CPU欲しい。DB入れるのでメモリもある程度必要だ。ディスクはSSDだとちょっと速過ぎる気がするし、EBSだと遅い気がするし…、とかいろいろ考えて、結局旧世代のm1.xlargeにしてしまった。 OSは自分のマシンに合わせてWindows。JavaとかMySQLもインストールする。 MySQLのチューニングとかは特にしていない（あまり詳しくないので…）。 Embulkもダウンロードした。このときの最新は0.5.0。 embulk-outpu

タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。本番DBから分析基盤への連携処理を改善した事例を紹介します。※ 本記事の対象読者はETLツールを利用している方を対象にしています はじめに本記事では、タクシーアプリ「GO」の DB から分析基盤への同期処理を約7時間から約10分に改善した事例を紹介します。まず、既存の処理および改善前の状況を説明し、次に改善にあたり実施した分析、その分析をもとにチーム内で実施した議論を経て、最終的にどのような実装を行ったのか紹介させて頂きます。 同期処理についてGO の DB は Cloud SQL 上で構築されており、分析基盤への同期処理は GKE 上で Embulk を起動し、リードレプリカに対してクエリを投げて一度 GCS に結果を格納します。その後、GC

embulk-output-commandからgsutilコマンドにデータを渡してストリーミングアップロードしてディスクレスにしてみた話。 embulkってなにって方はこちらから。 https://github.com/embulk/embulk Embulk(エンバルク)プラグインのまとめ 追記 2020-09-13 この記事の gsutil と embulk-output-command 行っていたストリーミングデータ転送処理をEmbulkプラグインで書きました。 https://github.com/irotoris/embulk-output-gcs_streaming なんでやったの EmbulkでMySQLやOracleからデータをBigQueryにデータ連携する際、データレイクとしてひとまずGoogle Cloud Storage（GCS）にファイルをアップロードしています。

メモリ1GBという制限があり、タイトル通りの構成で転送したところ、ひたすら失敗することを確認したが、mysqlのログを確認してみるとどうやらlockされていたことがわかった。 qiita.com ちなみに中々メモリ1GBで検証するのは大変だと思うので（クラウドならいけると思うけど）、Dockerでやりました。 ichirin2501.hatenablog.com で、個人的にはlockがなんなのかちゃんと理解してないのですが、なんでこうなったのかを色々調べていると、どうやらembulkが複数スレッドを起動して書き込んでいることがわかった。弱小マシンだと複数スレッドで書き込まれると1つのクエリ遅延中にさらにinsertされてlockされて死ぬっぽい（ちゃんと理解してい(ry じゃあ、複数起動しないようにすればええんじゃないかということでググってたらこんなtweetが embulk 0.8、m

以下の記事のパート4です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する（★本記事） ECSでのタスクの実行確認までできました。最後にStep Functionsでより簡単にジョブを実行できるようにして完了です！頑張りましょう～(*^▽^*) 目次 4-1) 動作確認用ののデータを投入 4-2) Srep Functionsの設定 4-3) ステートマシンに設定したAMロールに不足する権限を追加します。 4-4) 後片付け 最後に 4-1) 動作確認用ののデータを投入 差分更新用のデータを投入しておきます。 ターゲットデータベースに接続して以下のSQLを実行します。 UPDATE test_tbl SET payload = 'update

以下の記事のパート3です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認（★本記事） 【パート4】Step Functionsで簡単に実行できるように設定する 前回までのパートで、ECSでEmbulkを実行するための準備が完了しました。満を持してECSの設定をしていきましょう。 本編に入る前にECSに関して前提の知識を振り返っておきます。詳しくは手を動かしながら確認していってみるのがおすすめです！ ・ECSはAWSが提供するコンテナのワークロードを実行するための多種多様な機能を持つコンテナ管理のためのマネージドサービス ・ECSはあくまでコンテナを実行するためのコントロールに徹していて、実際にコンテナを起動する基盤（クラスター）は「EC2」か「Fargate」を選べる（ほかにも外部のクラスターもあります） ・ECS

embulk の gem install 時プラグインによっては以下のようなエラーがでることがあります。 Embulk 0.9.23に入っているJRubyのバージョンは9.1.5.0で、Ruby 2.3互換となっており、Ruby 2.4互換ではないのでこのようなエラーが出ます。 ERROR: Error installing embulk-input-google_analytics: representable requires Ruby version >= 2.4.0. 新しいバージョンのプラグインがリリースされるまで、以下のような順序でコマンドを実行するとプラグインがインストールできます。 (なお動作確認まではおこなっていません。) その他インストールできないプラグンがあったらお知らせください。Google 関連のサービスは同じようなエラーが出ますが、同じ手順でインストールできるか

CData が2023年Q4 Forrester Wave™: Cloud Data Pipelines でStrong Performer に選出

業務でよくAzure SQL Databaseを使っていて、DB間でさくっとデータを転送したい場面が度々あり、以前はAzure Data Factoryとか使っていたのだが たまにしか使わないし設定面倒だしなぁとか思っていた。 Embulkだと環境用意するの大変かなとか思っていたが、割とDocker使えばいけるじゃんと思ったので、自分用でとりあえずリポジトリ作ってすぐ使えるように用意した github.com 使い方 まずはgit clone $ git clone git@github.com:rnakamine/docker-embulk-sqlserver.git 次にそれぞれDBの接続情報やテーブル情報などを書いていく。 config.yml in: type: sqlserver host: localhost user: myuser password: "" database

Liquid Liquid の公式サイトはこちらです。 Embulk Embulk の公式サイトはこちらです。この記事では Embulk そのものについては扱いません。 Embulk の設定ファイルとして Liquid を用いる Embulk の設定ファイルは YAML で書かれます。加えて、「YAML を include 可能にした拡張形式である*1 Liquid という形式」にも対応しています。 ここでは Liquid を用いて Embulk の設定ファイルをどのように書けばいいのかを記していきます。 原則 まず原則をいくつか書き連ねます。 Liquid ファイルの中身の書式は YAML そのものである Liquid ファイルは多段に include することはできない*2 したがって設定ファイル群の構成は次のとおりになる 「全ての Liquid ファイルが include される親フ

デフォルトの Executor プラグインで、Embulk を実行したホストのリソースを使用してバルクロード処理を行う。その他の Executor プラグインとしては MapReduce Executor プラグインが存在し、そちらではHadoop上でバルクロード処理を実行することができたりする。

in: type: file path_prefix: {{env.INPUT_FILEPATH}} parser: type: csv # 以下省略 out: type: bigquery # 以下焼灼 2019-06-07 13:57:01.374 +0900 [INFO] (2600@[0:sample]+daily-1+send_user_summary^sub+loop-0+embulk) io.digdag.core.agent.OperatorManager: sh>: embulk run ./embulk/send_bq.yml.liquid 2019-06-07 13:57:01.708 +0900: Embulk v0.9.17 2019-06-07 13:57:02.298 +0900 [WARN] (main): DEPRECATION: JRuby org.jr

はじめに 目的 現在の会社ではEmbulk関連の問い合わせを受けることが多い。この記事は自身の備忘録を兼ねて書いている。 Embulkって何？ EmbulkはFluentdやMessage Packで有名な古橋さんが開発した、バルク処理用のOSS。Fluetdだと細かくデータを転送するのには向いているが（いわゆるストリーミング処理）、データベースのテーブルまるごとや巨大なログ・ファイルの転送には向いておらず、Embulkはその課題を解決するためのもの。(バルク処理) Embulkを使うメリット 自動的にInput fileの形式を推測してくれる機能（あくまで推測する機能） ビックデータを並行処理・分散処理してくれる トランザクション処理があり、中途半端にデータが投入されている危険性をなくしてくれる。(All-or-Nothing) 途中から再開できる。 Embulkの使い方について 前提条

概要 embulk+digdagでデータベースのコピーを行い、コピーしたデータベースをmetabaseで閲覧できるようにしたデータ分析基盤を構築しました。 その際embulkを使ってMySQLにデータをコピーする時にいろいろハマったので、その解決方法を紹介します。 embulkとは？ 今回利用したembulkとは、以下のように紹介されています。 Embulk(エンバルク)とは、オープンソースの並列データ転送フレームワークです。 「fluentd」のバッチ版のようなバルク処理に特化したプラグインベースのデータローダーです。 大規模データセットのバルクインポートを行えます。 引用元：https://www.ossnews.jp/oss_info/Embulk 詳細は他のサイトに譲りますが、このようにembulkとはデータ転送を行うためのフレームワークで、これを利用することでymlファイルを作成

in: type: file path_prefix: {{ env.DATA_PATH }} # <-- liquid decoders: - {type: gzip} parser: charset: UTF-8 newline: CRLF type: csv delimiter: ',' quote: '"' escape: '"' trim_if_not_quoted: false skip_header_lines: 1 allow_extra_columns: false allow_optional_columns: false columns: - {name: id, type: long} - {name: account, type: long} - {name: time, type: timestamp, format: '%Y-%m-%d %H:%M:%S'}