テックタッチアドベントカレンダー 13 日目を担当しますデータエンジニアの acchan です。 この間完全個室型のサウナに初めて行ってきまして、贅の極みを堪能してきました。みなさんもこの 1 年間頑張ってきた自分のご褒美にいかがでしょうか。 はじめに Elementaryとは チュートリアルをやってみる 下準備 パッケージのインストールと Elementary の初期設定 Elementary テストの追加 テストの実行とレポートの生成 Slack通知を試してみる さいごに はじめに 弊社では最近、データ分析基盤のモデリング用途として dbt を使い始めました。まだ間もないですが、モデルの共同開発が以前より活発になり、導入したことによるメリットが実感として現れつつあります。 しかし、作成されたモデルは本当に正しいデータを持っているのか？定義された指標通りに集計がされているのか？といった品

今回の課題 dbtでテーブルの増分更新をする際、冪等性が担保されるように実装してみた。 作成したクエリや、その解説、 また、つまずいてしまった箇所を記録に残そうと思う。 ※参考：【dbt小ネタ】ログの集計：incremental モデルの実運用 作成したクエリ テーブルの増分更新をするためのモデルを作成してみた。 ※ドキュメントでは、unique_keyの指定方法は'-'で複合主キーを結合して指定する方法が推奨されていた。 しかし、上記のクエリのように配列で指定しないと、Cloumn name user_type is ambiguousというエラーが発生したので注意する。 /* materializedにて、増分更新の設定 */ /* unique_keyにて、mergeの時のkeyを設定 */ {{ config( materialized='incremental', unique_

自己紹介 こんにちは。データエンジニアのヨンドンです。 お酒とSQLが大好物です。 データエンジニアリング専門なので分析はしません。 データ成熟度カーストで表すと私が関わっている仕事は下記の部分です。下級データ民です。 背景 今までは主に物販業における売上データや在庫データの分析をするためのデータウェアハウス構築とか、Web解析のログデータ分析基盤構築を主にやってきました。 ところが今回は、今まで触った事がない「人事データ」を分析するためのデータウェアハウスを Snowflake で構築する事になりました。 人事データウェアハウスなんてそんなにしょっちゅう作る事はないので、どんな事をやったのかメモ代わりに書き記します。 この記事で説明するツールは以下の2つです。 Snowflake ... データストレージとして使ってます。 dbt ... データの変換・モデリングで使ってます。 Snow

大阪オフィスの玉井です。 今回は、dbtにネイティブ対応しているBIツールを紹介します。 Lightdashとは 名前の通り、ライトなBIツールなのですが、接続先がDWHではなく、dbtプロジェクトなのが特徴です。 dbtを使う理由の1つに、BIツールで分析しやすいデータを用意する、というものがあると思います。普通は、dbtを通してDWH上にできたテーブルやビューを、別途BIツールで接続して利用します。しかし、Lightdashは、DWHを介すのではなく、直接dbtのコードを利用して可視化を行います（裏側としては、dbtのコードを利用して、dbtの後ろにあるDWHにクエリを実行するようになっています）。 やってみた 今回はローカルで試します。OSSなので無料です（有料版については後述）。 環境 macOS 11.5.2 dbt CLI 0.20.1 docker 20.10.8 dbtを接

[レポート] dbtウェビナー『What is dbt？データ基盤にdbtが必要な３つの理由』を開催しました！ #dbt_classmethod 2023年03月14日(火)、モダンデータスタック(MDS)を構成するサービスの1つであるdbtにちなんだイベント『What is dbt？データ基盤にdbtが必要な３つの理由』を開催しました。モダンデータスタック及びdbtに関しては下記ページをご参照ください。 このイベントはオンライン(Livestormによる配信)及びオフライン(弊社クラスメソッド岩本町オフィス)でのハイブリッド開催となりました。オフライン開催分については諸々状況を鑑みて少数招待に留める形となりましたが、オンライン開催分に関しては定員数250人を超える参加申し込みがありました。これは嬉しい状況でした。 当日のTwitterつぶやきまとめはこちらです。 当エントリでは会場の模様

dbt Tokyo meetup #3 https://dbt-tokyo.connpass.com/event/246144/

【dbt Docs】Building a dbt ProjecModels - Configuring incremental models Configuring incremental models インクリメンタルモデルの構成 What is an incremental model? インクリメンタルモデルとは？ インクリメンタルモデルは、テーブルとして作成する 最初に作るときは、ソースデータ全部を変換して、テーブルを作る 以降の実行では、「指定条件にあった」テーブルを作成済みのテーブルに追記する。 インクリメンタルモデルと使うと、変換対象のデータ量が減って、変換の実行時間が大幅に短縮できる。 How do I use the incremental materialization? インクリメンタルマテリアライゼーションをつかうにはどうしたらいい？ .sqlのなかのconfigブ

大阪オフィスの玉井です。 以前、dbtのデータモデルの「Materialization」という設定について検証しました。 上記で紹介していないMaterializationの種類に「incremental」というものがあります。これは、データモデルとしては、普通にテーブルとして生成するのですが、初回生成以降については、データの増分更新ができるようになります。 検証がちょっと面倒だったので、今回、別記事に切り出した形で、実際に検証してみたいと思います。 検証環境 macOS Catalina 10.15.7 dbt CLI 0.18.1 Google BigQuery やってみた 前準備 下記の環境を準備しておきます（手軽にデータを増やせるので）。ただし、今回使用するDWHはBigQueryです。 ロードしたデータは下記の通り。これが今回の検証におけるローデータとなります。この時点で1560

※本エントリは、Snowflakeをより使いこなそう！ Advent Calendar 2021の22日目の記事となります。 さがらです。 Snowflake公式のdbtと連携した時の機能を一通り試すことが出来るQUICKSTARTSに関して試してみた内容をまとめていきます。※この記事は「Part4：パイプライン構築編その２」となります。 この記事の内容について Snowflake公式のQUICKSTARTSに、Accelerating Data Teams with dbt & SnowflakeというSnowflakeとdbtを組み合わせたときの利点を一通り試すことが出来るクイックスタートがあります。 こちらの内容について、以下の合計5本の構成で試してみた内容を書いていきます。 Part1：基本設定編 「1.Overview」から「5. dbt Configuration」 Part2

積ん読記事に残っていた dbt の記事が面白かったのでご紹介です。 Pivot 社という会社のアナリティクスエンジニアによる記事で、いくつものプロジェクトで dbt を導入した経験から、dbt を使う上での5つの指針が紹介されています。私は dbt を実際のプロジェクトで導入したことはないのですが、この記事は細かい技術的な点ではなく、dbt をどういった場面で使うべきかという話なので今後も参考になりそうです。 5 Lessons I Have Learned Using dbt erics-arsenault.medium.com 1. Follow the dbt style guide dbt にはスタイルガイドが公開されているので、これを利用した方がよいとのこと。 https://github.com/dbt-labs/corp/blob/main/dbt_style_guide.m

こちらの記事の続きです。 dbt style guideを元にプロジェクトを構築するといいと書かれていたので、dbt style guideを読んで行きます。 公式のリファレンス読むの大事ですよね。 例にもよってモチベーションは、同僚にも読んでもらってデファクトスタンダードを作るためです。 まとめ dbtに限らず、いい感じのことが書いてあった SQL触る人なら一度目を通してもいいかもと思った ただ、スタイルガイドは一人で「これに従うんだー」っていうんじゃなくて、チームで合意形成することが大切だろうなと思った(余計な論争に発展しかねない) Model Naming モデルはstaging、marts、base/intermediateの3つのカテゴリーに分類される なぜこの設計を採用するかの詳細はこちらのポストを参照してね(僕なりにまとめたものはこちら) ファイル、ディレクトリ構造は次のよう

概要 dbt style guideを読んでいたら、このポストを参照していて、とても内容が濃かったので別でまとめました 同僚に読んでもらうために、僕なりに翻訳、噛み砕いたものなのとなっています 原文と若干ニュアンスが違うかもしれません、Single Source of Truthの精神でぜひ原文も読んでみてください tenajimaの感想 dbtのプロジェクトをどのように構築していくべきか学ぶ中で、データをどのように捉えるべきか(dimensionとfactなど)も同時に学べてすごく良かった 僕も型として「このパターンはこのようにプロジェクトを作っていく」というのを何個か持てるようになりたい How we structure our dbt projects 前提としてここで示す方法は、dbtとしてはベストだと思うが、自分自身のプロジェクトにとって最適かどうかは自分で判断してね(より深くデ

There’s now an updated, more in-depth guide to structuring dbt projects over on the dbt Developer Hub, written by Gwen Windflower. I wrote this article all the way back in May 2019, pretty soon after starting at dbt Labs (named Fishtown Analytics at the time), with the help of JerCo and Tristan. I’m both incredibly proud of the impact that it has had, and elated to see it get a refresh for the new

最近もっぱらdbt (data build tool) についての検証をしています。dbtは現時点だとなかなか日本語の情報があまりなく公式のドキュメントを頑張って読んで理解していく必要があるので、日本語にてこういう便利な機能があるよっていうのを紹介していく需要はあると思っています。（情報がないといってもすでにclassmethodさんのブログがいい感じに紹介してくれていますので参考になります。Youtubeの動画もあるのでそれも勉強になります。） www.getdbt.com 今回はdbt自体の紹介をしつつも、その背景のモデリングに関する情報も織り交ぜていこうかと思います。 今回はSCD (Slowly Changing Dimension) について情報を整理しつつ、dbtを使うとこのようにSCDが実装されますという例を紹介をしようと思います。（環境はDocker Desktopを利用し

こんにちは、Gunosy Tech Lab DR&MLOps チームの楠です。 この記事は Gunosy Advent Calendar 2022 の 11 日目の記事です。 昨日の記事は UT@mocyuto さんの『RailsのフロントをReactへリファクタしたとき、スキーマをOpenAPIベースの自動生成にした話』でした。 この記事では、ELT パイプラインにおける Transformation ツールである dbt の snapshot という機能について紹介した後、snapshot の手法を一般化したディメンションモデリングにおける概念である Slowly Changing Dimension を包括的に紹介します。 はじめに dbt とは？ dbt についての参考資料 dbt snapshot とは？ どんなときに使える？ dbt snapshot のまとめ dbt snap

TL;DR 原則としてパーティションテーブルを使うが、上位互換ではないため１次保存層にはシャーディングテーブルを使う マサカリください 概要 データ分析を行う際には分析基盤の整備が欠かせません 分析基盤としては様々なプロダクトがありますが、そのなかでBigQueryには下記の利点があります よく使われるため分析者にとって馴染み深い 処理が分散実行されるためとても高速 GCPのフルマネージドであるため運用が楽 ここではデータ加工層(データマート、データウェアハウス)だけでなく、１次保存層(データレイク)としてもBigQueryを用いる場合について考えます ※データの３層構造に関しては下記記事の思想に従います http://yuzutas0.hatenablog.com/entry/2018/12/02/180000 あなたが格納しようとしているデータが日毎に増えていくような大規模データである

dbt Advent Calendar 2022 の20日目の記事です。 背景 筆者は、dbtを使った広告プラットフォームのデータ基盤の構築・運用をしています。 この基盤は、最初からdbtを使っていたわけではなく、過去にフルスクラッチから、dbtへのリプレイスをしました。 広告レポーティング基盤に、dbtを導入したら別物になった話 そのdbtへのリプレイスで、当初困ったことがありました。世の中で紹介されているdbtのサンプルコードは、データ量が少ないもの（広告に比べると）を前提にしているので、大量データを扱っている筆者にとっては参考に出来るものがありませんでした。 けれども、元々フルスクラッチで実装していた時に、採用していたパーティショニングを使ったデータ処理のパターンが、dbtでの実装においても、非常に有効だったので、今回はそれについてシェアします。 今回、紹介する設計は、データウェアハ