mapk0yのブックマーク - はてなブックマーク

Digdagのワークフロー結果をSlackに通知する - Qiita
Digdagシリーズその３。第１回は「Digdag Serverのインストール手順」第２回は「DigdagのSecret機能を使う」 Digdagでワークフローを書いた際にやりたくなるのが、成功・失敗の通知です。そのやり方を試行錯誤した結果をまとめます。 Digdagでのワークフロー定義まずはおさらい。 Digdagではタスクと呼ばれる処理の単位をつなげてワークフローを定義することができます。例えば、シェル実行、pythonスクリプト実行、Rubyスクリプト実行のタスクを順番に実行するワークフロー定義は、こんな感じで書けます。 timezone: UTC +step1: sh>: tasks/shell_sample.sh +step2: py>: tasks.MyWorkflow.step2 param1: this is param1 +step3: rb>: MyWorkfl
mapk0y 2016/12/15
digdag
リンク
DigdagのSecret機能を使う - Qiita
Digdagシリーズその２。前回は「Digdag Serverのインストール手順」 DigdagにはDBの接続パスワードやWebサービスのAPI Keyなどの情報をセキュアに扱う機能としてsecretというものがある。これを使うと、パスワードなどの情報が平文でワークフロー定義ファイルに書く必要がなくなるし、ログに平文で出力されることもなくなる。 Digdag Secret機能を有効化する。デフォルトでは無効になっている。有効にするには、設定ファイルに digdag.secret-access-policy-file : operatorごとのsecretへのアクセスポリシーを定義したファイル digdag.secret-encryption-key: secretをDigdag ServerがDBに保存する時に暗号化するキー。128bitのAES鍵をBASE64エンコードした文字列を
mapk0y 2016/12/14
digdag
リンク
Digdag Serverのインストール手順 - Qiita
Digdag Serverをインストールする手順をまとめる。環境は、 CentOS 7.2 OpenJDK 1.8.0_111 Digdag Serverとは Digdag Serverは以下の機能を持っている。 REST API server：クライアントとの応答を行う Task Agent：ワークフローの各タスク実行を行う Workflow executor：ワークフローの実行管理を行う Schedule executor：ワークフローのスケジュール管理を行う REST API server以外は機能を起動させないことも可能。 Digdagのダウンロード $ curl -o /usr/local/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest" $ chmod +x /usr/local/bin/digd
mapk0y 2016/12/13
digdag
リンク
1