[B! digdag] wate_wateのブックマーク

Digdagを導入してみて

PLAZMA OSS Day: TD Tech Talk 2018 (https://techplay.jp/event/650389) の資料となります。 −−− DMM.comラボビッグデータ部ではETLをはじめとしたバッチ処理をDigdagを利用して行っています。今回は実際の現場においてDigdagをどのように活用しているかをはじめとし、導入により改善できたことや運用面での取り組み（e.g. 監視…etc.）についてご紹介しました。

wate_wate 2018/02/17

digdag

リンク

DMM.comのビッグデータ基盤を支える技術

TECH PLAY Conference 2017 の発表資料となりますビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ鈴木翔太 / 吉田龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用を行っており、それに加えアドホック分析には Presto、エンジニア・アナリストが利用するBIツールとして Zeppelin / Re:dash、ETLにワークフローエンジン Digdag など様々なOSSを積極的に採用し、より快適な分析基盤の構築に努めています。当セッションでは、ビッグデータ部発足時の分析基盤の課題を解決するためにこれまでにどのような取り組みを行ってきたかをご紹介します。