digdagサーバをコンテナで動かしてジョブもコンテナで動かす際の設定例

はじめに この記事はMicroAd Advent Calendar 2017の1日目の記事です。 Digdagはジョブをコンテナで実行する事ができ、スケールが容易なワークフローエンジンです。 本エントリではそんなDigdagサーバ自体もコンテナで動かしながらジョブもコンテナで動かす際の設定やハマり所を紹介します。 使用ソフトウェアとバージョン digdag: 0.9.21 docker: 1.12.6 全体像 先にどんな感じの構成を実現しようとしているか、全体像を図示します。 _export: docker: image: python:3 +-------------+ | | | | +---+----+ +----v---+ | | | | docker run | digdag | | python | +---------> server | | (job) | | | | |

[somemo]

“一旦digdagサーバの/tmp配下にワークディレクトリを作ってPythonスクリプトを出力し、ジョブコンテナはそのワークディレクトリをマウントすることで必要なPythonスクリプトを参照する、といった動きをします。”