エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基
Digdag x Luigi x Beam が協力して賢者の石を取りに行くのをやめた - Qiita
TL;DR 前任者が闇の魔法使いだったという話 Workflow Engine は混ぜるな危険 ポエムなのでコードとかない 出てくる言葉については語らないのでいくらか前提知識が必要 Prologue 「ハリー・ポッターと賢者の石」でハリー・ポッター、ロン・ウィーズリー、ハーマイオニー・グレンジャーの三人はそれぞれが役割を分担してパスを繋ぎ賢者の石へと辿り着いていました。 Workflow Engine と呼ばれるようなものはようはそういう風にタスクで処理を独立させつつ順序に従って処理するための仕組みですね。 例えば YAML ベースの Digdag とか、 Python で記述する Luigi とか、Java や Python で Cloud Dataflow (Apache Beam) とか色々あります。 私は最近 これ を使ってログを分析して賢者の石に辿り着くためのデータ分析基盤の担当
Digdagのスケジュール設定
Digdagではcronのように定期的にジョブを実行したり、指定した時間内に処理が終わらなければい警告を出すことができます。 🍮 schedule：指定した時間にジョブ実行timezone: Asia/Tokyo schedule: minutes_interval>: 1 +current_date: sh>: echo `date` +echo_hello: sh>: echo hello
digdag secrets を楽して環境変数にマップしたい - Qiita
out: type: bigquery auth_method: json_key json_keyfile: content: ${env.secret_gcp_credential} +task1: _env: secret_gcp_credential: ${secret:gcp.credential} secret_aws_access_key_id: ${secret:aws.access_key_id} secret_aws_secret_access_key: ${secret:aws.secret_access_key} sh>: embulk run embulk.yml.liquid +task1: _env: secret_gcp_credential: ${secret:gcp.credential} secret_aws_access_key_id: ${secr
メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 | メルカリエンジニアリング
Mercari Advent Calendar 2017 の9日目はメルカリ SRE(Site Reliability Engineering) チームの @syu_cream がお送りします。 メルカリでは様々なデータを BigQuery に格納して、データ利用を可能にしています。 BigQuery に格納しているデータの具体例としては、 Web サーバや API サーバのアクセスログやアプリケーションのログ、 以前当ブログで紹介した Pascal のイベントログ などが挙げられます。 メルカリのデータ分析基盤に関する情報はこれまでに以下のようなブログやスライドで紹介しております。 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 fluent-agent-hydraで省エネログ転送 メルカリのデータ分析基盤 / me
TB越えのMySQL 巨大テーブルを 1日で BigQueryへLOADする | メルカリエンジニアリング
こんにちは!! 私はメルカリでSREをしている k-oguma ( ktykogm ) です。 ちょうど1年くらい前にジョインしました。 よろしくお願いします! 今日は、タイトルの件で対応した方法をご紹介したいと思います。 それはある日突然やってきた TL;DR BigQueryへLOADさせる方法を考える 初期の検討 見直し Embulk Embulk 説明 Digdag Digdag 説明 Digdag呼び出し処理 Dry-run いざ、実行 補足: もっと高速化させたいなら 終わったあとは 最後に 参考にしたURL それはある日突然やってきた ある日、ETL作業 (データ分析基盤運用)の依頼がUSチームからやってきました。 要件は次のようなものでした。 1.4TB サイズの MySQL innodb tableを1つをBigQueryに上げる 約1年分。期間指定。 期限数日、なる早
Digdag の Plugin をたくさん作ったので紹介するよ - Gunosy Tech Blog
こちらは Gunosy Advent Calendar 2018、7日目の記事です。なお、昨日の記事は @yutanim さんの RxSwiftにおける孫からの祖父母孝行 でした。 qiita.com はじめに こんにちは、広告技術部の ｷｳﾞｨﾀｽﾎﾟ(人工知能) (@Civitaspo) / Twitter です。 Gunosy に入社してから早いもので1年が経ちました。昨年の Gunosy Advent Calendar では僕は読む専門だったのですが、『Gunosyのパーソナライズを支える技術 -ワークフロー編-』を読んで非常に感銘を受けたのを覚えています。 tech.gunosy.io ここではそのとき感銘を受けた言葉を紹介しておきます。 ワークフローは、いわばシステム上における兵站といってもいいでしょう。「戦争のプロは兵站を語り、戦争の素人は戦略を語る」という名言もあるくらいで
数百GBのデータをMySQLからBigQueryへ同期する | メルカリエンジニアリング
SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQueryを以前から使用しており、プロダクションのMySQLからBigQueryへデータを同期して分析に活用してきました。特に商品を表すテーブルは重要です。 しかし、後述する課題によりBigQueryにアップロードすることができなかったため、分析用のMySQLDBのスレーブとBigQueryを併用せざるを得ませんでした。とはいえ不便なので以前からBigQueryのみで商品テーブルも分析対象としたい要望がありました。 課題 メルカリでは販売済み商品を物理削除していないため、
Digdagを使ったジョブ管理 - MicroAd Developers Blog
はじめまして。アプリケーションエンジニアの中野です。 以前、MicroAdのデータ基盤の記事で紹介されていましたが、マイクロアドではデータ基盤刷新のタイミングでワークフロー管理ツールのDigdagを採用しました。 今回の記事では、Digdag採用の経緯やワークフローを作成する際に注意した点を紹介します。 Digdag採用の経緯 マイクロアドのDSP*1であるBLADEではBidRequestやImpression*2、Click、Conversion*3、その他BLADEから出力される様々なログやマイクロアドの他のプロダクトのログ、他社から提供されるデータなど、様々なデータを広告配信最適化の分析に活かしています。 これらのログを分析するバッチ処理は各々のジョブが複雑な依存関係を持っています。 これまではcronやJenkinsを用いてこれらの処理を行っていましたが コード管理が出来ていない
DigdagのPython APIを使う - Qiita
Digdagとは ワークフローエンジンと呼ばれるもので、データ分析基盤を構築する際に、Shell ScriptでPythonバッチを順に流しているような場合に、実行順序をyamlで定義できます。 serverモードというものがあって、複数ホストによる分散コンピューティングもできるので、場合によってはCeleryを導入しなくても、すべてDigdagで済ますこともできるのではないかと思い、調査を始めました。 ハマりポイント Language API - Python を使うに当たって、Pythonエンジニアが事前に知っておいた方がよいこと。 １．digdagのPythonパッケージはどこで配布されているか 次のサンプルを見てみましょう。 import digdag class MyWorkflow(object): def step1(self): digdag.env.store({'my_
メルカリのデータ分析基盤の紹介〜BigQuery周辺の話〜 | メルカリエンジニアリング
Mercari Advent Calendar 2017 の9日目はメルカリ SRE(Site Reliability Engineering) チームの @syu_cream がお送りします。 メルカリでは様々なデータを BigQuery に格納して、データ利用を可能にしています。 BigQuery に格納しているデータの具体例としては、 Web サーバや API サーバのアクセスログやアプリケーションのログ、 以前当ブログで紹介した Pascal のイベントログ などが挙げられます。 メルカリのデータ分析基盤に関する情報はこれまでに以下のようなブログやスライドで紹介しております。 Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 fluent-agent-hydraで省エネログ転送 メルカリのデータ分析基盤 / me
DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する - Qiita
DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期するMySQLDockerBigQueryEmbulkdigdag この記事はVASILY DEVELOPERS BLOGにも同じ内容で投稿しています。よろしければ他の記事もご覧ください。 こんにちは、バックエンドエンジニアの塩崎です。 さて、VASILYではData WarehouseとしてGoogle BigQuery（BigQuery）を利用しています。 BigQuery内にはプロダクトのマスタデータとユーザーの行動ログが格納されています。 そして、それらに対する横断的なクエリを発行することでプロダクトの成長のためのKPIをモニタリングしています。 そのためAmazon Relational Database Service（RDS）に保存されているマスタデータをBigQuer
digdagを使っててハマった事メモ - FLINTERS Engineer's Blog
S3にあるファイルを加工したり中間結果のファイルを保存したりTreasureDataに格納するような処理を書いていったときに発生したエラーメモ。 digdag version 0.9.24 github.com サーバーモードでdownload_fileオプションが使えない プロジェクトディレクトリ内にダウンロードしたはずのファイルが次のタスクで消え去った ファイルに保存せずにスクリプトを書いてDigdag.envを使ってクエリ結果を変数に保持させて対応 別の方法も（参考 digdagのtd>のdownload_file） プロジェクト外のディレクトリを参照できない SQLファイル動的に生成してtdオペレータに渡すようなタスクを作った 生成したファイルをプロジェクトディレクトリに保存するようにしたが次のタスクでNo such file or directoryになり参照できず（ローカルモー
digdagサーバをコンテナで動かしてジョブもコンテナで動かす際の設定例
はじめに この記事はMicroAd Advent Calendar 2017の1日目の記事です。 Digdagはジョブをコンテナで実行する事ができ、スケールが容易なワークフローエンジンです。 本エントリではそんなDigdagサーバ自体もコンテナで動かしながらジョブもコンテナで動かす際の設定やハマり所を紹介します。 使用ソフトウェアとバージョン digdag: 0.9.21 docker: 1.12.6 全体像 先にどんな感じの構成を実現しようとしているか、全体像を図示します。 _export: docker: image: python:3 +-------------+ | | | | +---+----+ +----v---+ | | | | docker run | digdag | | python | +---------> server | | (job) | | | | |
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
digdag の rb オペレータで bundle exec を使う３つの方法 - Qiita
digdag タスクの docker 実行について - Qiita
GitHub - szyn/mog: mog is the CLI for Digdag (Unofficial) (https://www.digdag.io).
https://cmdevio-ssl-eb-proxy-weighted.classmethod.jp/treasuredata/slack-notification-on-digdag/
https://cmdevio-ssl-eb-proxy-weighted.classmethod.jp/server-side/understanding-digdag-workflow-definition/
地球とSQL
