データカタログが欲しいって？それSnowSightで十分かもよ？
Qiita Snowflake Advent Calendar 2024の8日目の記事としてお届けします。 本記事では、一定規模のデータ基盤で必要となるデータカタログについて解説します。 データカタログに求められる機能を整理し、独断と偏見でよくあると想像するデータカタログの構成パターンと比較しながら2024年末時点のSnowSightでどこまで対応できるのかをまとめていきます。 また、最後にdbtのdescriptionを設定するためのマクロのサンプルコードもご紹介します。 はじめに データカタログとは、「どんなデータ」が「どこにあるのか」そして「どんな状態なのか」といったメタデータを利用者に提供する仕組みです。データカタログが整備されていないと、利用者からの問い合わせでエンジニアやアナリストが忙殺されたり、データの存在が把握できずに利用者が活用を諦めてしまったりします。そのため、多くの組
Step FunctionsとECSでELTパイプラインを作ってみる（dbt）
完成しました（2022/05/07） データパイプラインをサーバレスにしたい ELTとdbtについて データ活用基盤の役割の一つはデータを集めてきてデータマートまで加工していくことです。従来はストレージが高価であったりしたこともあり、連携段階で加工しておくことでストレージのコストを抑えたることが可能なETLが主流でしたが、近年アーキテクチャの進化を受けて連携時はほぼ無加工で連携後に加工をするELTが注目されています。 そんなデータエンジニアリングの世界観が広まる中で私が注目しているのはdbt (data build tool) というELTのTを担うOSSです。 ELTだからこそのサーバレス化する意味がある ELTの良いところはSQLベースでデータ変換のパイプラインを実装するので、SnowflakeのようなクラウドDWHのパワーを使い倒せるという点です（他にもExtract/Loadがシン
私が妄想している最強のデータ基盤2023
新年になったので今年のやりたいことをまとめようと思いたち筆をとっています。単にやりたいこと書いてもただのポエムになってしまうので、私が今時点で妄想している最強のデータ基盤を描いて、その中でまだ触ったことのない技術を今年触っていこうという意気込みを最後に書こうと思います（意気込みだけにならないように頑張りたいです！） まだ触ったことないものもあるので妄想しているレベルです。 アーキテクチャ図 まず最初に結論から書いていきます。 なぜこのアーキテクチャが最強と思うのか データ基盤として機能を分けると以下の6つの領域に分かれると思っています（もう少し細かく分けることもできたりします。例えばDMBOKとかではホイール図で11の領域に分けたりしています） データ基盤の領域 主に関連するDMBOKの知識領域 主担当
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dbtとAWSとサーバレス