petitvioletのブックマーク - はてなブックマーク

ブックマーク / speakerdeck.com/dmmlabo (2)

2000万アカウントの無停止データ移行の裏側
#DataMigrationNight にて発表したスライドです
petitviolet 2017/06/20
リンク
Digdagへ日次バッチを移行して幸せになるお話
DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決のために取り組んだ内容について紹介させていただきました！
petitviolet 2017/06/08
digdag
リンク
1