データエンジニアが注力すべきSilver層設計の重要性と難しさ

参考：Databricks メダリオンレイクハウスアーキテクチャとは この中でデータエンジニアは主にBronze層・Silver層（特にSilver層）設計を担うことが多く、ビジネスアナリストや分析チームはGold層設計を中心に行うことが多い印象です。 Silver層の重要性と難しさ Silver層はクレンジング済みデータを入れる場所ですが、どうクレンジングするかは非常に重要です。というのも分析の大元となるデータ層であるため、データを扱う組織としての「正しいデータとは何か」を定義していく必要があるからです。 このクレンジング定義において、思いつくだけでも次のような内容を決めていく必要があります。 主キー・重複の定義（粒度設計） エラーレコードと正解データの定義 最新断面か履歴保持を行うか 型・コード体系の定義 表記ゆれ・コード変換の対応表管理 遅延・履歴データの扱い方 リカバリ処理の方針