atomicmapのブックマーク - はてなブックマーク

DMMでのPrestoおよび周辺エコシステムの運用事例

Presto Meetup 201706にて、発表した弊社のPresto運用事例紹介です。 https://techplay.jp/event/621143

atomicmap 2017/06/18

リンク

Digdagへ日次バッチを移行して幸せになるお話

DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフロ…

atomicmap 2017/06/08

リンク

JenkinsからDigdagへ日次バッチを移行して幸せになるお話 // Speaker Deck

DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決のために取り組んだ内容について紹介させていただきました！