SnowflakeのZeroCopyCloneで開発環境への検索インデックス同期の問題を楽々解決!! - Uzabase for Engineers

はじめに お話の内容 抱えていた課題 コスト index作成処理の問題 どうやって解決していくか 実装後のよかった点 まとめ はじめに ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。このブログは、NewsPicksの NewsPicks Advent Calendar 2024の24日目の記事となります。 今回は、AWSサービスである「OpenSearch」「ECS」とデータウェアハウスである「Snowflake」を用いて、弊社で使用している開発環境にコスパよく効率的な検索インフラ基盤を構築し、NewsPicksの重要な機能の一つである検索機能の開発者体験を向上させたお話です。このブログではインフラ構成の見直しによるコストコンシャスな検索環境整備とSnowflakeの機能である「Zero-Copy-Clone」を使ってindex作成処理の課題を解決した

[integrated1453]

開発環境を複数面構築する時のあるあるが「全環境に本番同様のコンポーネントを整備するとコストがかかる」問題。検索用OpenSearchServiceのインデックス同期が難でしたがRedshiftからSnowflakeに移行したことで楽になりました