エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基
Athena+Embulk+BigQueryによるアプリケーションログの分析環境構築
はじめにこんにちは、Finatextで証券プラットフォーム（Brokerage as a Service、以下BaaS）の開発に携わっている石橋（@bashi0501）です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善（後述します）に活かしていきたいという意図があるため、マ
TROCCO(トロッコ)｜「日本発」の分析基盤向けデータ統合自動化サービス
TROCCO®は、ETL/データ転送・データマート生成・ジョブ管理・データガバナンスなどの データエンジニアリング領域をカバーした、分析基盤構築・運用の支援SaaSです。 あらゆるデータの連携・整備・運用を自動化し、スピーディーにデータ活用環境を整備。 インサイトを得やすい状況に導きます。
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する - Qiita
DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期するMySQLDockerBigQueryEmbulkdigdag この記事はVASILY DEVELOPERS BLOGにも同じ内容で投稿しています。よろしければ他の記事もご覧ください。 こんにちは、バックエンドエンジニアの塩崎です。 さて、VASILYではData WarehouseとしてGoogle BigQuery（BigQuery）を利用しています。 BigQuery内にはプロダクトのマスタデータとユーザーの行動ログが格納されています。 そして、それらに対する横断的なクエリを発行することでプロダクトの成長のためのKPIをモニタリングしています。 そのためAmazon Relational Database Service（RDS）に保存されているマスタデータをBigQuer
Embulkを利用したデータ転送基盤の構築 - ZOZO TECH BLOG
こんにちは。バックエンドエンジニアインターンの田島です。 VASILYでは分析にBigQueryを使用しており、MySQLのデータを毎日BigQueryに同期しています。この同期処理を行うシステムは、約2年前にRubyで書かれたもので、プロダクトの成長に伴うデータ量の増加に耐えることができなくなり始めていました。そのため、同期処理を行うシステムを一から作り直しましたので、その詳細についてご紹介します。 弊社DEVELOPERS BLOGでは以前、『インターン生がデータ転送基盤を一から設計する、VASILYバックエンドインターンの紹介』としてシステムの概要・開発の流れをご紹介しましたが、今回はシステムの詳細についてご紹介します。 （photoクレジット *1） データ同期ツールの紹介 新たなデータ同期システムとして、次のように利用する社内ツールを作成しました。 以下のような環境変数を設定し、
DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する - ZOZO TECH BLOG
こんにちは、バックエンドエンジニアの塩崎です。 先日、会社の広報のためのインターン生紹介記事にメンターとして掲載していただきました。 大学四年生のインターン生と一緒に写真撮影を行ったのですが、見た目だけではどちらが年上かわからなかったので、「メンターの塩崎（右）」という表記をされてしまいました（笑） インターンでも実際のサービスに触れ、課題を解決！〜VASILY DEVELOPERS BLOGが公開されました〜 さて、VASILYではData WarehouseとしてGoogle BigQuery（BigQuery）を利用しています。 BigQuery内にはプロダクトのマスタデータとユーザーの行動ログが格納されています。 そして、それらに対する横断的なクエリを発行することでプロダクトの成長のためのKPIをモニタリングしています。 そのためAmazon Relational Database
OSSとしてのEmbulkにTreasure Dataはどのように関わっているのか - Qiita
Embulk Advent Calendar 2015の1日目の投稿になります。 今年の9月にSoftware EngineerとしてTreasure Data(以下TD)に入社していた赤間(@oreradio)です。 最近はData Connector(後述)などの開発でJava/Rubyを書いています。 さて、OSSのバルクロードツールであるEmbulkが公開されて約1年が経ちました。 * 並列・分散処理、リトライ、リジューム等をサポートする * プラガブルな構造 * guessによる設定ファイル生成支援 * OSSとして公開されている などが特徴的な訳ですが、プラグインも90個近くが公開されOSSとして順調なスタートではないかと思います。 一方で本体やプラグインを含めた巨大なエコシステムをバルクロードという信頼性が求められる分野で全てOSSとして公開・メンテされる仕組みは果たして上手
Google Analytics（GA）のデータをembulkを使ってBigQueryに転送させる方法 - Qiita
はじめに 弊社ではユーザーの一部アクションログを GoogleTagManager（GTM）と組み合わせて GoogleAnalytics（GA）にイベント情報を保存し分析をしています. 今回はGTMに関しては触れませんが, 例としてGA上に保存されたイベント情報を BigQuery に転送してみます。 イベント情報に限らず PageView など様々なGA上のデータを取得して転送することが出来るため, 発想次第では面白いデータ分析ができそうです. GAのイベント情報とは 弊社では, 以下のようなイメージでユーザーの行動をイベント計測しています. イベントカテゴリ：施策ごとのユニークな管理番号（xxx_profile_search） イベントアクション：イベント種別（click, load) イベントラベル： イベント分類(ユーザーID) GAのイベント トラッキングについては, 以下のペ
データエンジニアとデータの民主化 〜脱・神 Excel 〜 - 一休.com Developers Blog
この記事は 一休.com アドベントカレンダー 2017 の 13 日目です。 一休データサイエンス部の id:kitsuyui です。データエンジニア兼データサイエンティストをやっています。 この記事はもともとアドベントカレンダー上では「脱・神 Excel (仮)」という名前で枠で取っていたのですが、 少し主語が大きすぎたかな？と反省しています。 書いているうちに全く主旨が変わってきましたので、副題とさせていただきました。 今回は一休社内でのデータエンジニアリングにまつわる負担、それらを解決する Redash, Embulk, DatabaseMEMO の導入の流れを書こうと思います。 また、その過程で副次的に発生した FLOSS へのコントリビューションなどなどについては、 14 日目のエントリで説明したいと思います。 一休とデータ活用 一休は今日まで上質な宿・レストランの予約サービス
embulk-filter-copy の紹介 - Qiita
0 c20ef94602 c212c89f91 {"a":0,"b":"99"} 1 330a9fc33a e25b33b616 {"a":1,"b":"a9"} 2 707b3b7588 90823c6a1f {"a":2,"b":"96"} 3 8d8288e66f {"a":3,"b":"86"} 4 c54d8b6481 e56a40571c {"a":4,"b":"d2"} 0,c20ef94602,c212c89f91,{"a":0,"b":"99"} 1,330a9fc33a,e25b33b616,{"a":1,"b":"a9"} 2,707b3b7588,90823c6a1f,{"a":2,"b":"96"} 3,8d8288e66f,,{"a":3,"b":"86"} 4,c54d8b6481,e56a40571c,{"a":4,"b":"d2"} c20ef94602,
Googleスプレッドシートをプログラムから操作 - Qiita
2017/05/18 APIの高速化方法について追記記事を書きました。 GoogleスプレッドシートAPIの高速化 GoogleI/O 2016でSpread Sheet API v4がリリースされました。 動画はこちらです。 盛り上がるのはAndroidなどデバイスにかかわる話だったり新サービスだったりするのですが、私が一番盛り上がったのはこのリリースだったりします 簡潔に書くと 今までの貧弱だったAPIがものすごく強化されシステムに組み込めるレベルになりました。 本記事ではスプレッドシートをプログラムから操作する方法と、実際に何ができるのかを解説していきます。 サンプルとして以下の様なスプレッドシートを作成します。 スプレッドシートAPIとは その名の通りGoogleスプレッドシートをWebシステムやスマホアプリなどプログラム経由で操作することが可能なAPIです。 元々バージョン3があ
MySQLからBigQueryの同期を差分更新にしたら4倍高速になった話 / Sync from MySQL to BigQuery become 4x faster by incremental updating - Speaker Deck
Embulk Meetup Tokyo #3のLTです
EmbulkEmbedメモ(Hishidama's Embulk embed Memo)
概要 Javaアプリケーションの中からEmbulkを実行する為のクラスとして、Embulk0.6.22でEmbulkEmbedというクラスが導入された。 embulkコマンドのguess・preview・run等と同じことが実行できる。 コーディング手順は以下のような感じ。 EmbulkEmbedインスタンスを生成する。 embulkコマンドで指定するconfig.ymlと同等の定義を作成する。 YAMLファイルを読み込むのが一番簡単そう。 コマンド（guess, preview, run等）を実行する。 開発環境の構築 EmbulkEmbedを使うJavaプロジェクトを作成する為のGradleのbuild.gradleは以下のような感じ。 build.gradle： apply plugin: 'java' apply plugin: 'eclipse' task wrapper(typ
EmbulkをJavaに組み込んで実行する - Qiita
こちらのIssueで紹介されている通りです。 https://github.com/embulk/embulk/issues/421 （Issueだとあんまり気付かれないので、Issueと内容は同じですが、qiitaでのシェアを目的としてます。） EmbulkEmbedというクラスを呼び出して、下記にようにすればJavaからEmbulkを実行できます。 EmbulkのJarはhttps://dl.bintray.com/embulk/maven/とかから最新版をダウンロードすると良いと思います。 import java.io.File; import org.embulk.EmbulkEmbed; import org.embulk.EmbulkEmbed.Bootstrap; import org.embulk.config.ConfigLoader; import org.embulk
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://github.com/embulk/embulk-output-jdbc/tree/master/embulk-output-mysql
GitHub - embulk/embulk-output-jdbc: MySQL, PostgreSQL, Redshift and generic JDBC output plugins for Embulk
Embulkを使ってRDSのslow query logをElasticsearchに投入する。 - Qiita
CRubyプロダクトにおけるembulkの活用法
embulk-filter-calcite vs embulk-filter-column|row の速度比較 - Qiita
