Databricksで分析業務がはかどっている話 - Qiita

はじめに こんにちは。 みなさま年末いかがお過ごしでしょうか。 この記事はSupership Advent Calendar 2018 15日目です。 私はデータビジネス事業部に所属しており、 Supershipの保有している広告配信ログを使った各種分析を担当しています。 アドテク業界やWeb業界にお勤めのデータサイエンティスト・エンジニアの方にはご理解いただけるかと思いますが、 Web系のデータは巨大で(もちろん私たちSupershipも例外ではありません)、ストレスなく日常的に集計するとなるとなかなか大変です。 そのような巨大なデータを分析するための分析基盤として近年いくつものプロダクトが 開発されていますが、私たちのチームではDatabricks社のDatabricksを利用しています。 このプロダクト、非常に便利ながらあまり日本語情報がなく、今ひとつ広まっていない印象です。 そこで