タグ

ブックマーク / zenn.dev/gak_t12 (4)

  • 読み合せ会「実践的データ基盤への処方箋」第3回

    過去の読み合せ会 なぜ読み合せ会?という形式をとって開催しているか?も記載してます。 読み合せ会「実践的データ基盤への処方箋」第1回 ( はじめに、1-1, 1-2) 読み合せ会「実践的データ基盤への処方箋」第2回 (1-3, 1-4, 1-5) 読み合せ会「実践的データ基盤への処方箋」第3回 (1-6, 1-7, 1-8) 読み合せ会「実践的データ基盤への処方箋」第4回 (1-9, 1-10) 読み合せ会「実践的データ基盤への処方箋」第5回 (1-11, 1-12) 読み合せ会「実践的データ基盤への処方箋」第6回 (2-1, 2-2) 読み合せ会「実践的データ基盤への処方箋」第7回 (2-3, 2-4, 2-5) 使用する を使っています 読み合せ会 輪読会ではなく、読み合せ会! 1-6 データウェアハウス層では分析DBを使って共通指標を管理する メンバーの意見をまとめてます データウ

    読み合せ会「実践的データ基盤への処方箋」第3回
  • 【dbt Docs】Building a dbt ProjecModels - Configuring incremental models

    dbt Docs】Building a dbt ProjecModels - Configuring incremental models Configuring incremental models インクリメンタルモデルの構成 What is an incremental model? インクリメンタルモデルとは? インクリメンタルモデルは、テーブルとして作成する 最初に作るときは、ソースデータ全部を変換して、テーブルを作る 以降の実行では、「指定条件にあった」テーブルを作成済みのテーブルに追記する。 インクリメンタルモデルと使うと、変換対象のデータ量が減って、変換の実行時間が大幅に短縮できる。 How do I use the incremental materialization? インクリメンタルマテリアライゼーションをつかうにはどうしたらいい? .sqlのなかのconfigブ

    【dbt Docs】Building a dbt ProjecModels - Configuring incremental models
    knj2918
    knj2918 2023/04/11
  • 【dbt Docs】Guides - Best practices

    Best practices dbtの経験豊富なユーザーによる、分析業務における最適な使用方法についての知恵を集めています。 これらのベストプラクティスを守ることで、あなたの分析チームが可能な限り効果的に作業できるようになり、また、これらのプロヒントを実行することで、あなたのdbtプロジェクトに磨きがかかるでしょう Best practice workflows Version control your dbt project (dbtプロジェクトはバージョン管理する) dbtプロジェクトは、すべてバージョン管理する。新機能の開発やBugfixをするために、Gitのブランチを切って行う。すべてのコードの変更は、プルリクエストを出し、コードレビューをしてもらって、 mainにマージする。 Use separate development and production environments

    【dbt Docs】Guides - Best practices
  • 【Medium】2022 : Modern Data Stack

    がく@ちゅらデータエンジニア です。 ※2022年9月よりちゅらデータ株式会社にJoinしました データエンジニアリングな話題などをMediumで毎朝、サジェストされるんですが、これちゃんと読んでいかんとなーということで、読んだメモなどを残しておこうと思って書いて行こうと思います。 概要 今日はこちら 「2022年モダンデータスタック」 Modern Data Stackについての記事はたくさんあるので、読んだ方もいるかも知れない。 最近では Data Processing Frameworks(データ処理フレームワーク) Visualization Tools(可視化ツール、BIツール?) ETL Tools Development notebooks(JupyterNotebookみたいなやつかな?) Data Catalog といったものが現れてきている。 時代とともに新しい技術がで

    【Medium】2022 : Modern Data Stack
  • 1