Detect all errors Prevent bad data from sneaking into your business We’re fortunate enough to speak to a large number of companies about their approach to building reliable data. In doing so, we’ve noticed common steps that the best teams take to get the most out of their dbt tests. State of dbt testing in 2023 With the rise of data observability and ML-based anomaly detection it’s tempting to thi
dbt x Dimensional Modeling
dbt を利用して DWH を構築した際に得た知見をまとめた本になります。 今回、データモデリングには Dimensional Modeling を採用しました。 なお、DWH には BigQuery を採用しており、各種データソースから ETL で BigQuery に作成した data_lake データセットにデータが転送されている前提で内容を記載しています。 私自身、勉強しながら構築を進めているため、内容に間違いがあったりもっとスマートなやり方があれば、Twitter の DM 等でご指摘いただけますと非常に助かります。
Snowflakeとdbtを併せて使うと何が良いのか？ #SnowflakeDB #dbt | DevelopersIO
※本エントリは、Snowflakeをより使いこなそう！ Advent Calendar 2021の18日目の記事となります。 さがらです。 最近データエンジニアリング界隈で日本でも聞くようになってきた「dbt」について、Snowflakeと併せて使うと何がよいのか、この記事でまとめてみます。 前置き：ELTについて dbtとSnowflakeの話に入る前に、昨今のデータパイプライン構築にあたり一般的な考えとなってきているELTについておさらいしておきます。 従来のDWHでは、柔軟なスケールアップ・アウトが難しかったり、そもそもサーバースペックが足りないという課題があり、データをDWHに取り込む際はデータソースからExtractしたデータに対してフィルタや集計などのTransformを行って、絞り込んだデータをLoadする「ETL」が一般的でした。 しかし、昨今のクラウドベースのDWHは柔軟
DevelopersIO 2022 データ変換パイプラインをdbtでレベルアップ #devio2022 | DevelopersIO
さがらです。 DevelopersIO 2022において、dbt Labs社よりビデオセッションとして発表をして頂きました。 本ブログでは、こちらのビデオセッションのアウトラインをまとめます。（詳細はぜひ動画をご覧ください！） セッション概要 概要 原文 Have you heard about dbt, but perhaps not sure what it is or what it can do for your team? Join us for this demonstration where you’ll get to see dbt’s workflow and implementation best practices first hand. The session will cover how to develop, test, document, and deploy
GitHub - kuwala-io/kuwala: Kuwala is the no-code data platform for BI analysts and engineers enabling you to build powerful analytics workflows. We are set out to bring state-of-the-art data engineering tools you love, such as Airbyte, dbt, or Great Expec
Kuwala is the data workspace for BI analysts and engineers enabling you to build powerful analytics workflows together. We are set out to bring state-of-the-art data engineering tools you love, such as Airbyte, dbt and Prefect together in one intuitive interface built with React Flow. Do you want to discuss your first contribution, want to learn more in general, or discuss your specific use-case f
dbt のテストというとデータそのものの品質などをテストするのが主な目的で、モデルのロジックそのものをテストするにはあまり適していなかったりします。 ロジックテストを良しなにできないか調査したところ dbt-unit-testing というパッケージが良さげだな～と思ったので今回はこちらを触ってみます。 TL;DR dbt-unit-testing はモデルのロジックテストに使えるパッケージ 依存モデルにモックデータを仕込むことができる モックデータは select 文または表形式で定義可能 テスト結果が表形式でわかりやすい モデルの結合テストにも対応 使ってみる dbt のサンプルプロジェクトを使ってユニットテストを実装してみます。 初期設定 packages.yml に以下を追記し、dbt deps を実行します。 packages: - git: "https://github.co
dbt(data build tool)に関するアドベントカレンダーです。 dbtの導入事例や、テストやモデリングに関すること、ドキュメントやデータカタログやdbtと連携するツール等、dbtを中心とした話題であればなんでもOKです。 ぜひお気軽に投稿してください！ edit_calendarHow to join the calendarYou can join the calendar by selecting an available date and registering the URL of the article you wish to link to. If a slot is available, you can go back to a past date to join!
dbtでSlowly Changing Dimensions Type2を用いたテーブルの変更履歴の保持が簡単に実装できるsnapshotを試してみた #dbt | DevelopersIO
さがらです。 dbtでSlowly Changing Dimensions Type2を用いたテーブルの変更履歴の保持が簡単に実装できるsnapshotという機能を試してみたので、本記事でまとめてみます。 Slowly Changing Dimensions Type2とは まず、タイトルにもあるSlowly Changing Dimensions Type2とは何か、説明していきます。 Slowly changing dimensionとは 一言でいうと、「Slowly Changing Dimensionsは、ディメンションテーブルの変更履歴を管理する手法」です。 まず大前提としてデータ分析をする上で、ディメンションという概念があり、データを分析する際に切り口となるデータのことを示します。ディメンションテーブルなどと呼ばれますね。 このディメンションテーブルの例としては 取り扱う商品の
こんにちは！データサイエンスグループの山本（ @__Y4M4MOTO__ ）です。 さて、ヤプリのデータサイエンスグループ（以下、DSグループ）では2023年から分析用データ基盤の dbt 移行に取り組んでいます。 dbt 移行に至った経緯などについては昨年開催された Yappli Tech Conference 2023 にて発表しているので、そちらをご覧いただければ幸いです。 tech.yappli.io dbt 移行に伴い、ヤプリの各種サービスが参照しているデータマートも dbt 移行後のものへ切り替えを行っています。 dbt 移行後の分析用データ基盤（以後、 dbt 基盤）の運用が本格化してきたことで、その開発フローの方も併せて改善していきました。 この記事では、その時の話について記したいと思います。 なお、開発フロー改善は分析ツール「 Yappli Analytics 」のデータ
推奨される読者 分析業務までに長いSQLを書かなければならずうんざりしているデータエンジニア 細かいデータ品質のチェック作業で疲れているデータエンジニア SELECT文には抵抗がないが、ステップアップしたいデータアナリスト 組織をハッピーにしたいデータチームのリーダー 以下は、Seattle Data Guyのこちらの記事を、許諾のもとで邦訳したものです。 (Review: Brett Torenvlied of primeNumber, Inc.) 出典 ハーバード大の記事が「データサイエンスこそ21世紀で最もセクシーな職種だ」と押し売りしてから、十数年になる。だから僕らは「データが新たな石油だ」と語ってる場合じゃなくて、ちゃんと維持可能なデータスタックを構築し始める必要がある。 僕が最近、モダンデータスタックにフォーカスした記事を執筆し、この技術が未来にわたって持続可能なシステムを構築
dbtのテンプレートSQLをJinja2テンプレートで大量生成する話 〜クラシコム様での事例〜 - KAYAC Engineers' Blog
この記事はdbt Advent Calendar 2023の5日目です。 こんにちは、その他事業部SREチーム所属の@mashiikeです。 カヤックは様々な事業・プロジェクトを展開しておりますが、その一つとして『北欧、暮らしの道具店』を運営する株式会社クラシコムとの協業プロジェクトがあります。 www.kayac.com こちらのプロジェクトでは2019年より継続して、クラシコム様のデータ基盤の構築・運用のサポートの一部を行っております。 その中で、troccoのdbt連携機能を用いて、データの変換を実装しております。1 今回の記事は、同プロジェクトの中で行われた一風変わったdbtの活用例の紹介になります。 内容の関係上、予めLookerの用語と概念を知っていると読みやすいと思います。 cloud.google.com 背景 クラシコム様のデータ分析基盤では、ビジネスインテリジェンスにL
Why does structure matter? Analytics engineering, at its core, is about helping groups of human beings collaborate on better decisions at scale. We have limited bandwidth for making decisions. We also, as a cooperative social species, rely on systems and patterns to optimize collaboration with others. This combination of traits means that for collaborative projects it's crucial to establish consi
dbt の導入支援 | クラスメソッド株式会社
クラスメソッドのAWS総合支援 コスト最適化からセキュリティ、構築支援、運用保守まで、AWS活用を支援します。
こんにちは、nkhrです。 dbtというツールをご存じでしょうか。データウェアハウス（レイクハウス）のTransformationをサポートするツールで、Redshift, Snowflake, BigQuery, Databricsなどで利用できます。 （参照リンク：What, exactly, is dbt?） dbtの利用を開始する場合は、SaaS製品のdbt Cloudを利用する方法と、Open Sourceのdbt-coreのみを利用する方法があります。 本ブログでは、dbt Cloudとdbt-coreについて、その違いと選択ポイントについて考えてみたいと思います。 dbt Cloudとdbt-coreの違い dbt Cloudとdbt-coreは、両方「dbt Labs, Inc.」が管理しています。 dbt-core Apache License 2.0（詳細はリンク先を参
dbt入門 | Hakky Handbook
dbt とは dbt とは、data build tool の略で、ELT の T を担当するソフトウェアです。つまり、データウェアハウスにあるデータを加工してデータウェアハウスに書き戻すツールになります。ELT の EL の部分は Meltano など他のツールに任せます。 特徴 dbt には主に以下の機能や特徴があります。 SQL の SELECT 文だけで開発可能 スキーマや依存関係に関するドキュメントの自動生成機能 NULL、参照整合性などの自動テスト機能 Jinjaによる処理のモジュール化 Git、CI / CD などソフトウェア開発の手法が活用可能 dbt の利用方法 dbt は、SaaS としての「dbt Cloud」と OSS の「dbt CLI」を利用することができます。それぞれの機能の違いは以下の記事をご参照ください。 dbt Cloud と dbt-core (
大阪オフィスの玉井です。 dbtは（基本はSQLとはいえ）コードを開発して実行するツールです。そういう意味では、アプリケーション開発とやることが似ています。故に、dbtには「アプリケーション開発では当たり前にやること」な機能がデフォルトで盛り込まれています。例えば、Gitと連携してコードをバージョン管理することができます。何らかのシステムを開発する際、コードをバージョン管理するのは当たり前のことです。それがdbtにも取り入れられています。 今回紹介するのは、dbt Cloudの「Environment」と「Job」という機能です。これらを使うと、（これまたアプリ開発では当たり前な）「本番環境と開発環境の分割」や「CI（継続的インテグレーション）」を行うことができます。 dbtにおけるCI そもそもCIとは何でしょうか。例えば下記の記事ではこのように解説しています。 CI/CD の「CI」は
![[dbt] CI（継続的インテグレーション）を取り入れる | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6172dee51c84ef7822379d7334691c90332d7023/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F08%2Fd72f41d6eb099a8fa0ef2791ad2b18a7.png)
The 5 essential data quality checks in analytics | dbt Labs
We’ve talked about the core data quality dimensions and how to think about them with intentionality. We’ve explained how to put those in a framework that is guided by your business. Let’s use this page to talk about the actual foundational data quality checks you should be running on your data, and how dbt Cloud can help make these tests simpler and automated. We’ll cover the concepts of: uniquene
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The complete guide to building reliable data with dbt tests
dbt-unit-testing を使ってモデルのロジックテストを実装する
dbtのカレンダー | Advent Calendar 2023 - Qiita
dbt 基盤の開発フローを改善した話 - Yappli Tech Blog
dbtとは何か？なぜ企業はdbtを使うのか？ | TROCCO®(トロッコ)
How we structure our dbt projects | dbt Developer Hub
dbt Cloudとdbt-core (CLI)の違いを整理してみた | DevelopersIO
[dbt] CI（継続的インテグレーション）を取り入れる | DevelopersIO