BigQuery のデータセットとテーブルを整理整頓する - キカガク プラットフォームブログ

前提 状況 整理整頓 Step0: 前提知識 Step1: 整理の軸を決める Step2: 仕様を整理する Step3: 手段の整理 結論 おわりに こんにちは、開発事業部で PM をしている丸山です。 キカガクでは昨年夏に GCP を中心としたデータ基盤へ移行しました。 データ基盤では現在次のように複数ソースのデータを BigQuery へ集約し、加工していくような構成を取っています。 infra 半年程度運用してデータパイプラインの管理のつらさが表面に浮かんでくる中で、上図にも記載があるワークフロー管理ツールの導入に踏み切ったのですが、その際に無秩序となっていた BigQuery のデータセット/テーブル構成に関してもテコ入れをしましたので、そちらの内容を書いていこうと思います。 前提 本題に入る前に、前提として今回扱っているデータ基盤は下記の規模感のものとなります。 扱うデータソース

[sh19910711]

"Firestore → BigQuery > Firestore Extension を使用 + データ更新のたびに Cloud Functions でデータを BigQuery へストリーミングインサートしてくれます / ダッシュボードのためのマートと、各個人の分析のアウトプットとしてのマート"

[makoto_kkgk]

データ基盤はなかなか知見が掴みにくいので良い記事！