タグ

2024年9月27日のブックマーク (3件)

  • BigQuery Dataform でワークフローを作成する - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? BigQuery Dataform でワークフローを作成する BigQuery Dataform とは BigQuery Dataform とは、BigQuery で行うワークフローの開発・バージョン管理・スケジュール設定などを行うためのサービスです。依存関係による実行順序の制御やグラフによる可視化などができます。 この記事では、公式データセット bigquery-public-data.google_trends を使って テーブルとビューを作成する 作ったワークフローのスケジュールを設定する をやってみました。 検証 今回作成するワ

    BigQuery Dataform でワークフローを作成する - Qiita
    klov
    klov 2024/09/27
  • BigQuery 向けデータパイプラインサービス「Dataform」の基本的な使い方

    この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 20 日目の記事です。 こんにちは、Google CloudでDataAnalyticsを担当している山田です 日はDataformの紹介をしたいと思います! Dataformとは BigQuery上でデータ変換を行う複雑なSQLワークフローを開発、テスト、バージョン管理、スケジュール設定することが出来ます。 Dataformのようなパイプライン管理ツールを使わない場合、SQLのバージョン管理や、テーブルAの後にテーブルBを作りたいといった依存管理などをどうするか考えなくてはいけません。 そのような課題を解決してくれるのがDataformになります。 Dataform自体の利用には料金がかからないというのも大きな特徴です! Dataformの構成要素 Dataformは以下の4つの

    BigQuery 向けデータパイプラインサービス「Dataform」の基本的な使い方
    klov
    klov 2024/09/27
  • [初心者向け]Dataformを動かしてみた | DevelopersIO

    データアナリティクス事業部の根です。案件でDataformを触る機会があり、面白いサービスだと感じたので記事にしてみました。 はじめに DataformとはBigQueryに対してSQLを実行して、テーブル間の依存関係を保ちつつtableやviewを作成できる、データパイプラインツールです。 SQLでデータマートを作成する際に、多くの中間テーブルやRAWデータテーブルを参照する処理の場合、データパイプラインの管理が大変になりがちですがDataformを用いることで管理を効率化することができます。 この記事の対象者 Dataformを動かしてみたいひと 前提条件 Google Cloudのプロジェクトが作成されていること BigQuery, Dataform APIが有効になっていること Dataformの基構成要素 リポジトリ:SQLXファイル、JavaScriptファイル、Data

    [初心者向け]Dataformを動かしてみた | DevelopersIO
    klov
    klov 2024/09/27