こんにちは、データマネジメント部でデータエンジニアをしている井山です。 この記事は10周年記念として133日間ブログを書き続けるチャレンジの15日目の投稿になります。 今回は、現在FLINTERSデータチームで行っているデータ基盤移行PRJ(実施中)についてのお話をしたいと思います。 はじめに データ基盤の現状 移行の背景 発生していた問題点 暫定的な対策 移管対応でやったこと等 まとめ Snowflakeにしてよかった点 リソース問題はほぼ解消 格納できるデータ量も無制限なのでライフサイクルも廃止(全期間のデータを格納できる) コスト的な部分でのメリット DWHの構成管理ができるように(一部例外はあるが) メタデータ関連がかなり強力 副次的にいらない・使っていないデータソースとかを排除する動きが活発に 困ったこと・苦戦したこと Digdag WFからのSnowflake接続 Treasu
![TreasureData -> Snowflake へのデータ基盤移行のお話 - FLINTERS Engineer's Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/3ce0a0322f6ab6246b7f72356499e912a9fcb3b4/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fm%2Fm_iyama%2F20230829%2F20230829124959.png)