とりあえずexportしない！Digdag変数・パラメータの使い方全種 | DevelopersIO
こんにちは。DA事業本部の春田です。 Digdagで変数やパラメータを定義する時は _export するのが一般的かと思いますが、他にも色々やり方があるのでご紹介していきます。環境はGitHubに上げました。 もくじ Digdagの変数・パラメータ パラメータの取得・保存方法 digファイル上 Pythonファイル上 各種パラメータの検証 export local store --params-file Param Server 最後に 参照 Digdagの変数・パラメータ Digdag公式ドキュメントのConcepts — Export and store parametersによると、標準的なパラメータは3種類あります。 local （digファイルで + をつけて定義する）タスクに直接セットするパラメータ export 親タスクから出力されるパラメータ store 前のタスクで保存さ
Digdagでruby/python間で変数を渡す - Qiita
TreasureDataの新しいOSSのDigdagが先日パブリックリポジトリになりました。 今度、ゲームサーバ勉強会で初心者向けのデモとかをしようと思ったので、簡単なサンプルを紹介します。 DigdagはOperatorを利用することで様々な処理を簡単に呼べるようになっています。 http://www.digdag.io/operators.html まだ、TreasureData向けのものがまだ多いのですが、このOperatorが増えると、分析エンジンとの連携が容易になるかと思います。作り方はそのうちドキュメント化されるのではないかと思います。 さて、今回の紹介では、CSVファイルをEmbulkでPostgreSQLにロードし、Rubyで集計し、その結果をPythonに渡して、Slack通知するというワークフローです。 ワークフローの内容 下記がワークフロー全体です。 _exportで
digdagの変数 - Qiita
2016-10-25 16:28:11 +0900: Digdag v0.8.17 2016-10-25 16:28:14 +0900 [WARN] (main): Using a new session time 2016-10-25T00:00:00+00:00. 2016-10-25 16:28:14 +0900 [INFO] (main): Using session /tmp/.digdag/status/20161025T000000+0000. 2016-10-25 16:28:14 +0900 [INFO] (main): Starting a new session project id=1 workflow name=vartest session_time=2016-10-25T00:00:00+00:00 2016-10-25 16:28:17 +0900 [INF
Digdagのワークフロー定義について理解する #digdag | DevelopersIO
先日の投稿でDigdagの『アーキテクチャ』に関する部分を読み解いて行きましたが、今回はその続き、『ワークフロー定義』に関する部分を読み進めてみたいと思います。 Digdagのアーキテクチャとコンセプトを理解する #digdag ｜ Developers.IO ワークフローは拡張子『*.dig』のファイルとして作成する Digdagのワークフローは拡張子*.digを持つファイルとして作成します。ファイルの名前＝ワークフローの名前、となります。例えば、hello_worldというワークフローを作るとします。その際のファイル名はhello_world.digとなります。中身はこんな感じの記述内容となります。 timezone: UTC +step1: sh>: tasks/shell_sample.sh +step2: py>: tasks.MyWorkflow.step2 param1: t
DigdagをHA構成にしてみた - ZOZO TECH BLOG
こんにちは、最近のマイブームはマヌルネコ動画な新事業創造部バックエンドエンジニアの塩崎です。 今回のテックブログでは、以前にDigdagを紹介した記事の続編として、DigdagをHA構成にするためのTipsなどを紹介します。 Digdagとは Digdagはワークフローエンジンと呼ばれるソフトウェアです。 複数個のタスク間の依存関係からなるワークフローを定義し、そのワークフローの実行及び管理を行います。 この説明だけですと、何が便利なのかいまいちピンとこない方が多いかと思います。 ですが、かゆいところに手が届く便利ソフトウェアです。 具体的なかゆいところの紹介は以前にDigdagを紹介した記事の前半部分に書かれています。 Digdagを使用したことのない方はこちらを読んでから本記事を読み進めると理解しやすいかと思います。 tech.starttoday-tech.com さて、前回の記事で
Digdagのセッションについて調査メモ - Qiita
$ digdag run workflow.dig 2017-03-15 20:25:15 +0900: Digdag v0.9.5 2017-03-15 20:25:17 +0900 [WARN] (main): Using a new session time 2017-03-15T00:00:00+00:00. 2017-03-15 20:25:17 +0900 [INFO] (main): Using session /private/tmp/tmp.jxd7km/mydag/.digdag/status/20170315T000000+0000. 2017-03-15 20:25:18 +0900 [INFO] (main): Starting a new session project id=1 workflow name=workflow session_time=2017-
Digdag + EmbulkによるTSVファイルのS3→Redshiftロード #digdag | DevelopersIO
はじめに こんにちは、yokatsukiです。 先日6月18日、第五回ゲームサーバ勉強会に参加してきました。 そこで、トレジャーデータのサポートエンジニアマネージャー高橋様から、直前の6月15日にオープンソース化されたばかりのDigdagの説明がありました。その時の発表スライドは下記です。 Digdagは弊社でも何名かが既に触ってブログで公開(下記)しているので、名前と目的は知ってましたが、説明とデモを見るうちに自分でも試してみたくなりました。 Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた #digdag Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag｜Developers.IO という訳で、簡単ではありますが共有します。 テーブル定義の無いTSVファイルをRedshiftへロードする 通
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Unable to combine if loop and export · Issue #990 · treasure-data/digdag
call>: Calls another workflow — Digdag 0.10.5 documentation