タグ

digdagに関するtakashabeのブックマーク (2)

  • 古橋貞之さんインタビュー - Tokyo RubyKaigi 11

    17:55 Keynote 分散ワークフローエンジン『Digdag』の実装 ワークフローエンジンは、依存関係のある複数のタスクを実行するツールです。古典的なMakefileを始め、Python製のLuigi、商用のJP1/AJS3など、様々な実装があります。Digdagは、現在活発に開発が進んでいる新しいワークフローエンジンです。このセッションでは、ツリー構造を持つワークフローの状態遷移を効率的に実行する手法、ワークフローの実行状態の永続化と分散実行、タスクスケジューラ、Dockerによるサンドボックス化など、その実装手法を紹介しながらワークフローエンジンの構成技術について解説します。 必要となる知識 SQLの基的な知識と、Rubyのリフレクション、オプティマイザなどの知識があると、より楽しめると思います。 古橋 貞之 Treasure Data, Inc. Founder & Soft

    古橋貞之さんインタビュー - Tokyo RubyKaigi 11
  • Jenkinsの無秩序なジョブをDigdagで再定義する - log.fstn

    jenkins で回してる ci のジョブを digdag で書き直してみたけど、フローがひと目で分かるし、git で管理できるし、並列化も簡単だし最高だ。— Kosuke Adachi (@foostan) October 8, 2016 ということで Jenkins のジョブを Digdag に置き換えて Git で管理すると最高なので、今困っている人はやりましょう。1日あれば多分終わります。 今回試したのは CI のジョブですが、どんなジョブでも応用できると思います。 詳しく こないだ Rebuild 152 聴いていたらその会話の中に「Jenkinsおじさん」ってワードが出てきたんですよ。 rebuild.fm Jenkinsをそれなりの規模で使っている人ならお馴染みだと思うんですが、Jenkinsって自由度が高くてジョブの編集も簡単にできるから気をつけないとジョブがカオスな状態に

    Jenkinsの無秩序なジョブをDigdagで再定義する - log.fstn
  • 1