EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する - Koichi Ishida blog
目次 ワーカーノードの作成 DigdagとEmbulkのDockerビルド KubernetesにDigdag/Embulkをデプロイ Redashの導入 まとめ Kubernetes上に分析環境を構築する機会があったのでどのように構築したかを紹介します。同じような構成でKubernetes上で構築するのは3回目になったので構築方法も洗練されてきました。構成は以下のようになっています。 MySQL(RDS): サービスのデータベース。ここのテーブルからBigQueryにEmbulkでデータをエクスポートします。 PostgreSQL(RDS): Digdagのデータベース。今回新たにつくりました。 Digdag: データベースのエクスポートなどを実行するタスクスケジューラ。失敗したときにリトライもできます。 Embulk: プラグインを使ってデータベースをMySQLからBigQueryにエ
Digdag 入門 - GMOインターネットグループ グループ研究開発本部
D. M. です。レガシーの crontab が肥大化して困っています。今日はそのリプレイス候補である Digdag を使ってみた話です。 やりたいこと crontab は Linux のスケジューラの仕組みで定期バッチの実行用途でよく利用されますが低機能です。順序の依存関係やアラートは毎回独自に作りこまなければいけません。そのため近年は代替スケジューラを利用するケースが多いです。その候補のひとつである Digdag について検証したいと思いました。 Digdag を使うべき人 一般的にバッチスケジューラに求められる要件的には以下のようなものがあります。 ・スケジュール実行 ・複数バッチの順番の制御（ワークフロー） ・GUIでの管理 ・失敗時のアラート ・SLA 機能（長時間実行していたらアラートを飛ばす） ・分散実行 などなど 代替として広く知られているものですと Jenkins でのワ
ワークフローエンジンDigDagでDockerを使ってみる(追記：6/28) - techium
ワークフローエンジンのDigDagではワークフローを動かす環境をDockerにすることが可能とのことです。 そのためDockerで環境をワークフローを動かすときに構築するため、過去の設定情報などをクリアすることなく動作させ得ることができるため、ワークフローを書くのが非常に楽になります。 Dockerを使った方法についてご紹介します。 ただし、まだまだ開発中のようできちんと動きませんでした。 Dockerの指定(コンテナの環境構築なし) DigDagでDockerを指定するには次のように行います。 今回の例では下記のような構成で実行するものとします。 . ├── digdag-docker.dig └── tasks └── shell_sample.sh [digdag-docker.dig] timezone: UTC _export: docker: image: ubuntu:14.
Jenkinsをエンジニアでない人も使えるDigdagのWeb UIとして使う - エムスリーテックブログ
こんにちは、エンジニアリンググループの福林 (@fukubaya) です。 現在、弊社では長年運用され続けているレポート基盤のリニューアルを昨年から続けています。 その一環で、エンジニアでない人も使えるレポート生成UIを実現するため、 DigdagとJenkinsを利用した仕組みを検討しました。 本記事ではその一例をご紹介します。 横浜赤レンガ倉庫は横浜港にある歴史的建築物。本文には特に関係ありません。 レポート生成UIとしてのJenkins 弊社では、客観的なデータに基づき意志決定することがエンジニアに限らず基本となっているため、 あらゆるサービスでデータの蓄積、分析、活用が日常的に行われています。 レポート生成処理は基本的にはスクリプト実行なので、実行もコマンド実行になりますが、 エンジニアでない人にコマンド実行でレポートを生成してもらうのは難しいです。 そこで、弊社ではJenkins
「Digdag」を使って依存関係のあるタスクをコードベースで管理する - タダケンのEnjoy Tech
こんにちは! タダケン(@tadaken3)です。 会社で使っている分析基盤に、Digdagというワークフローエンジンを導入しました。digdagはとても魅力的なツールで、ぜひより多くの人にも使ってほしいなと思い、Digdagの導入方法をまとめてみました。 ところで、ボクはディグダといえば、ポケモンを思い出します。 Digdagとは Digdagをインストールする digファイルを作成してワークフローを記述する ワークフローを実行する まとめ 参考URL 読者登録をお願いします！ Digdagとは Digdagは複雑なタスクを実行するためのTresure Dataが開発したOSSのワークフローエンジンです。 例えば、 外部APIからデータを取得する 取得したデータを成形する データをデータベースにインサートする みたいな処理を順番に実行したいとします。 cronで実行することもできますが、
ワークフローエンジンDigdagのまとめ - Qiita
2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。 変更内容が気になる方は変更履歴をご覧ください。 1. 開催されるイベント 2. オフィシャルページ オフィシャルページ ソースリポジトリ 3. チュートリアル Getting started (英語) Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag (日本語) Digdag 入門 Digdagのアーキテクチャとコンセプトを理解する Treasure Workflow for ビギナー 環境構築編 digファイル書き方編 Digdag公式ドキュメントからDigdagを学ぶ
Digdagのアーキテクチャとコンセプトを理解する #digdag | DevelopersIO
Treasure Data社によってOSSワークフローエンジン『Digdag』はその発表以後多くの反響を呼び、社内外を含め良く利用されるようになってきていますが個人的には下記の『試してみた』エントリ以降、あまり触って来ていませんでした。ちょっと個人的にも腰を据えて取り掛かってみようかという感じになってきましたので、仕組みや使い方を把握するという意味で一番参考になるであろう公式ドキュメントの一部を読み進めてみた記録をブログエントリとして残しておきたいと思います。 Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag ｜ Developers.IO Digdagのアーキテクチャ Digdagによるワークフローの自動化 ワークフローを使って、手動で行なっているあらゆる操作を自動化出来ます。一連のタスクを『ワークフロー』として定義し、Digdagを使
Digdag x Dockerでモダンなバッチ処理環境を構築
「DigDag」はTreasure Data製のワークフローエンジンのOSSです。ワークフローエンジンを使うことでバッチ処理の依存関係を明確に定義できたり、ジョブの管理をしやすくなります。また、Dockerと組み合わせることで、言語や環境を自由に選ぶことができます。 🤔 紹介スライド2017/6/9に発表したDigdagの紹介LTのスライドです。Web画面からタスクの実行状況がわかったり、再実行ができたりするのは便利です！ 🚕 Digdagの特徴 手動で行っている操作をYAML(.dig) で「ワークフロー」に書いて定義できます 依存関係のある複数のタスクを管理・実行しやすくするためのしくみです タスクが失敗した場合、時間内にワークフローが終了しない場合の通知を行うことができます PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設
Workflow Engines Meetup #1 に行ってきた - progrhyme's tech blog
初めまして、というべきでしょうか。 @progrhymeとしての初の技術ブログ投稿になります。*1 今日は田町で開催されたWorkflow Engines Meetup #1に参加してきました。 目次 目次 発表タイトル・資料一覧 聴講メモ Digdagの特徴とQuick Start @frsyuki Jenkins 2.0 Pipeline & Blue Ocean @hico_horiuchi Luigiを使っている話 @bwtakacy Azkaban in my use case @wyukawa Airflowの紹介 @sekikn39 雑感 終わりに 発表タイトル・資料一覧 ※まだ全部上がってないので、捕捉したら更新します。 (1) Digdagの特徴とQuick Start / @frsyuki (2) Jenkins 2.0 Pipeline & Blue Ocean /
Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog
出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想定以上に時間がかかってしまった． データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化] 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2017/09/21メディア: 単行本（ソフトカバー）この商品を含むブログを見る はじめに 目次にも書いてある通り，「データ分析基盤」というテーマで Fluentd / Elasticsearch / Kibana の解説が詳細にまとまっている．さらに付録には Embulk と Digdag の解説もあり，このあたりの技術スタックに興味がある人にとって最高な一冊なのではないかなと思う．また，
Embulk＋DigdagでExcelのデータをPostgreSQLにロードする | DevelopersIO
データインテグレーション部 大矢です。 DBのテストデータをExcelで書くことはよくあると思います。 今回はExcelで書いたデータをEmbulkでDBにロードする、ということをやってみようと思います。 使用した環境は以下のとおりです。 Embulk v0.8.13 Digdag v0.8.16 PostgreSQL 9.5.3 Mac OS X El Capitan version 10.11.6 ExcelのデータをPostgreSQLにロードする 作業ディレクトリ 先に今回の作業で使用するディレクトリ構成を示しておきます。最終的にはこうなります。 excelload ├── allsheet.dig └── embulk ├── sales.yml ├── testdata.xlsx └── users.yml Excelのテストデータ ロードするデータ Excelのテストデータシ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Getting started — Digdag 0.10.5 documentation