todeskingのブックマーク - はてなブックマーク

Digdagへ日次バッチを移行して幸せになるお話
DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決のために取り組んだ内容について紹介させていただきました！
todesking 2017/08/28
Digdagへ日次バッチを移行して幸せになるお話 // Speaker Deck
リンク
DMM.comのビッグデータ基盤を支える技術
TECH PLAY Conference 2017 の発表資料となりますビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ鈴木翔太 / 吉田龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用を行っており、それに加えアドホック分析には Presto、エンジニア・アナリストが利用するBIツールとして Zeppelin / Re:dash、ETLにワークフローエンジン Digdag など様々なOSSを積極的に採用し、より快適な分析基盤の構築に努めています。当セッションでは、ビッグデータ部発足時の分析基盤の課題を解決するためにこれまでにどのような取り組みを行ってきたかをご紹介します。
todesking 2017/08/28
https://t.co/SUSVDgVgwWのビッグデータ基盤を支える技術 // Speaker Deck
リンク
2000万アカウントの無停止データ移行の裏側
#DataMigrationNight にて発表したスライドです
todesking 2017/06/20
2000万アカウントの無停止データ移行の裏側 // Speaker Deck
リンク
1