[B! digdag] flummoxyのブックマーク

ワークフローエンジンDigdagのまとめ - Qiita

2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。変更内容が気になる方は変更履歴をご覧ください。 1. 開催されるイベント 2. オフィシャルページオフィシャルページソースリポジトリ 3. チュートリアル Getting started (英語) Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag (日本語) Digdag 入門 Digdagのアーキテクチャとコンセプトを理解する Treasure Workflow for ビギナー環境構築編 digファイル書き方編 Digdag公式ドキュメントからDigdagを学ぶ

flummoxy 2018/06/26

リンク

Digdag UIを試してみる - Qiita

Digdag UIはドキュメントがなく絶賛開発中な感じですが、どんな見た目か気になったので試してみました. サーバー

flummoxy 2018/05/14

リンク

Digdagでpython / ruby operator から Secret parameterを参照する - Secret Ninja Blog

Digdagではsecretsパラメータを使って認証情報をdigファイル内に記載しないようにすることができる。例えばローカルで動かすときには、 $ digdag secrets --local --set s3.access_key=xxxx で実現できる。ちなみにローカルの場合には、~/.config/digdag/secrets/s3.access_keyに保持される。一方でこの情報をpythonやrubyから呼び出したいときには、直接参照するメソッドは現状なさそう。ちなみにdigdag内の変数を参照する場合は、下記のサンプルがある。 https://github.com/treasure-data/digdag/blob/master/examples/python_args.dig # test.dig timezone: "Asia/Tokyo" +a: py>: pyth

flummoxy 2018/04/09

リンク

Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ

Digdag が Apache License 2.0 の元でオープンソース化されましたよ！さぁ試すんだ…！今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi

flummoxy 2018/04/05

リンク

Digdag Slack プラグインを作成 & 公開しました #digdag - iroilog.net

Digdag Slack プラグインを作成 & 公開しました #digdagApril 16, 2017 タイトルにある通り digdag-slack プラグインを公開してみましたので紹介します。その名の通り、DigdagからSlack通知をするためのプラグインです。特徴このプラグインを利用すると、 slack>: オペレータが使えますymlでslackのpayloadを定義するので、柔軟な通知が実現しますattachments などを利用することで表現力豊かな通知が可能ですtemplate内でdigdag側で定義した様々な変数が利用できますメッセージを変数にしておいて利用時に定義することができるなど再利用性に優れていますリポジトリのREADME.mdにも記載していますのであわせて見ていただけると嬉しいです。実際に利用してみるでは早速説明がてら、利用してみましょう。 digdag-s