メモ DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発 #tdtech - by shigemk2digdag github.com (途中参加) ワークフローエンジン Aをやって、Bをやって、でもBが失敗したらCをやる、というのを、コードを書かないで制御する サーバー どこの環境でも動くこと ワークフローが手元でも動く ステップを足す→ローカルで実行する サーバーでアプローチすればサーバーで動く Luigi 上から下へワークフローを動かす digdag digdag ネスト出来るようにした グループを作れる ある別のシステムがファイルをアップロードする→アップロードできたらコピーする パラメータは一部ビルトイン tdのクエリを実行する redshiftのクエリを実行する big query td for each ポスグレ メール などなど… slackへ通知も出来る ローカルで実行する→デプロイする サーバAで実行する→サーバBでも実行できるようにする 特定のプログラミング言語を特
