[B! snowflake] clavierのブックマーク

dbtのDWHをRedshift(serverless)からSnowflakeに切り替えたときのおはなし｜あきよん

フリーランスでアナリティクスエンジニア的なお仕事をしています。最近（2023年10月 ~ 12月頃）、データウェアハウスをRedshift (serverless)からSnowflakeに切り替える作業の一旦を担いました。備忘録を兼ねて、私が担当したdbtに関連する切り替え作業の中で、印象に残った部分をいくつかご紹介したいと思います。カラム名が小文字(Redshift)から大文字へ(Snowflake)　Redshiftはカラム名が小文字、snowflakeはカラム名が大文字です。Snowflakeに移行する上で、これが一番苦労する要因になった違いでした。ドキュメント(yamlファイル)を作成する際に、dbt-osmosisを使用しています。ここではdbt-osmosisの詳細は述べませんが、DWHの内容から自動でドキュメントを作成してくれます。新規で作成したものはドキュメント

clavier 2024/02/21

リンク

Snowflakeパフォーマンスのカギはやっぱりデータモデリング

この記事はSnowflakeアドベントカレンダー2023の19日目です。はじめに昨年、Snowflakeのパフォーマンスにおいて非常に重要な概念であるクラスタリングとプルーニングに関して、以下の記事を書きました。なぜクラスタリングやプルーニングが大事なのかを説明させてもらったのですが……理屈はわかった！ではどうすれば？という、具体的なユースケースについて全く書けておらず、また別のブログにします、と宣言しておいて、1年間完全に放置してしまっていました。すみません。。この記事では、上記の記事の続きとして、クラスタリング・プルーニングの概念を知ったうえで、具体的にパフォーマンスを向上させるにはどうすれば良いかのヒントとなるようなものを書きたいと思います。具体的には、そうデータモデリングです！データモデリング万能説データモデリングがめちゃくちゃ大事だよ！ってことは、SnowVilla

clavier 2024/01/01

リンク

【連載】データ分析基盤をdbt・Snowflakeに移行する【設計・実装編】 - Algoage Tech Blog

こんにちは、Ops-dataチームの上村(@contradiction29) です。以前、弊社内で運用されているデータ分析基盤を移行するにあたり、設計の方針を練る記事を投稿しました。 tech.algoage.dmm.com 今回はその続きとして、移行プロジェクトの実際の進行に焦点を当てて記事を書いていきたいと思います。はじめにこれまでのあらすじ：運用していく中でつらみがたまってきた弊社のデータ分析基盤。開発しづらいし、運用もつらいし、何よりこのまま運用を続ければ確実に停止してしてしまう。End of Service Life (EOSL) は目前に迫っています。移行するしかない状況です。とはいっても、単純に移行するだけでは、現場のアナリストやエンジニア、社内ユーザー、そしてその先にあるクライアントのニーズに応え、事業価値に貢献することはできません。真の「価値」に貢献するためには「思

clavier 2023/10/07

リンク

Redshift から Snowflake に移行しました | CyberAgent Developers Blog

こんにちは。AI事業本部の AIR TRACK でサーバーサイドエンジニアをしている宮川です。プロダクトでデータウェアハウスを Redshift から Snowflake に乗り換えたので、意思決定をした理由や Snowflake のメリット・デメリットについてご紹介したいと思います。 Snowflake とは Snowflake とは Snowflake 社が提供するデータウェアハウス（DWH）です。コンピュートノードとストレージを分離した設計がなされており、計算リソース（ウェアハウス）を簡単にスケールアップ・スケールアウトできること、ウェアハウスの利用分の従量課金であること*1が特徴となっています。また、各クラウドプロバイダー上でサービスを展開しているため、Snowflake にデータを入れる際に無駄なデータ転送量がかからないことも特徴です。その他、SnowPipe という自動デー