Kaizen Platformのデータ処理基盤「Data Platform」のご紹介 - Kaizen Platform 開発者ブログ

はじめまして。Kaizen Platformのアプリエーションエンジニアの眞井（@yasu01）です。 今回は、私が2020年を通して開発してきたData Platformというデータ処理基盤についてご紹介します。 背景 Kaizen Platformの創業当時から提供しているサービスとしてKAIZEN ENGINEというものがあり、お客様のサイトにJavaScriptのコードを設置することで、サイトへアクセスしたエンドユーザーのサイト行動ログをデータレイクに蓄積される仕組みを提供しております。 そのデータは膨大で、そこで蓄積されたデータを分析することで、Site AnalyticsやLift Reportなど様々な集計を施し、これまで様々なレポートを生成・提供してきました。 データレイクからデータを整形・加工を行うステップは、何段ものETL（Extract, Transform, Loa