データ基盤の歴史と最新トレンド「データレイクハウス」について

この記事では、データ基盤がどのように進化してきたかを歴史から整理した上で、最新トレンドである「データレイクハウス」の仕組みを体系的に解説します。 データ基盤の歴史（3世代） 現在のデータ基盤アーキテクチャは、大きく3つの世代に分けて理解できます。 世代が進むにつれて、「データをどこに保存するか」と「どうやって加工するか」 の2点が変化してきました。 第1世代：オンプレミスDWH（〜2012年頃） この時代のデータ基盤は ETL（Extract → Transform → Load） と呼ばれる方式が主流でした。 データベースのストレージ容量もCPU処理能力も非常に高価だったため、データをDBに入れる前に、別のサーバーで不要なデータの除去やフォーマット変換などの加工処理（Transform）を行い、きれいになったデータだけをDBにロード（Load）するという流れです。 課題 専用DBサーバー