データウェアハウスをRedshiftからSnowflakeに移行するために考えたこと（１） - Uzabase for Engineers

この記事は NewsPicks Advent Calendar 2024 の6日目の記事です。 ソーシャル経済メディア「NewsPicks」の中村です。最近はデータ基盤の開発運用、データアナリストのサポート、LLM活用等をやっています。 現在、NewsPicksではデータウェアハウスとして長年利用してきたAmazon RedshiftからSnowflakeへの移行を進めています。まだ移行作業の途上ではありますが、完了の目処が立ったので、なぜデータ基盤の移行を行なっているのか、どのように移行計画を立てたか、実際に移行作業を進めてみてどうだったか等を紹介したいと思います。データ基盤を運用している方、データウェアハウスの比較検討をされている方などの参考になれば幸いです。 なぜデータウェアハウスを移行するのか Redshiftのパフォーマンスとコストの問題 まず、NewsPicksの従来のデータ基

[integrated1453]

これぞ事業会社がAWSで作るデータ基盤だなぁという鉄板の構成ですが、Redshiftのスケーラビリティだけがネックなので、エンジニアみんなで頑張ってDigdagワークフローとSQLを書き換えてSnowflakeに移行している最中です

[misshiki]

“パフォーマンスとコスト管理の点では、Snowflakeがやや有利 生成AIと分析者体験の点では、BigQueryがやや有利”

[chamind]

ユースケース的にdatabricksの方がマッチしてそう

[nabinno]

Glueの話が一切でてこないのが不思議ですな