エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
CRMデータ移行ツール開発の苦労話 ~ Transform編 ~ - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
CRMデータ移行ツール開発の苦労話 ~ Transform編 ~ - Qiita
データ移行プロジェクトの中で直面した課題とその解決方法について、備忘録としてまとめました。 関連記... データ移行プロジェクトの中で直面した課題とその解決方法について、備忘録としてまとめました。 関連記事 プロジェクトの概要 CRMの環境刷新に伴い、新環境へのデータ移行ツールの開発依頼を受けました。 その際、ただ移行するのではなくオブジェクト構造を考慮したり、いらないデータを絞り込みしたり、名寄せをしたり、などとデータの加工要件をいただきました。 つまり、ただデータを旧環境から新環境に横流しだけでは要件を満たさないため、ETLを行いました。 また、BigQueryに関して知見があったこと、大規模データ加工が要件だったことがあり、TransformにはBigQueryを採用しました。 Extract: Cloud Data Fusionを使用して、CRMからデータをBigQueryに転送する Transform: BigQuery / Dataform を使用し、データ加工する Load: m