klovのブックマーク / 2024年9月27日 - はてなブックマーク

klov id:klov

2024年9月27日のブックマーク (3件)

BigQuery Dataform でワークフローを作成する - Qiita
BigQuery Dataform でワークフローを作成する BigQuery Dataform とは BigQuery Dataform とは、BigQuery で行うワークフローの開発・バージョン管理・スケジュール設定などを行うためのサービスです。依存関係による実行順序の制御やグラフによる可視化などができます。この記事では、公式データセット bigquery-public-data.google_trends を使ってテーブルとビューを作成する作ったワークフローのスケジュールを設定するをやってみました。検証今回作成するワークフローは、2つの工程を実施します。 bigquery-public-data.google_trends.top_terms と bigquery-public-data.google_trends.top_rising_terms から過去2週間のキー
klov 2024/09/27
リンク
BigQuery 向けデータパイプラインサービス「Dataform」の基本的な使い方
この記事は Google Cloud Japan Advent Calendar 2023 (入門編) の 20 日目の記事です。こんにちは、Google CloudでDataAnalyticsを担当している山田です本日はDataformの紹介をしたいと思います！ Dataformとは BigQuery上でデータ変換を行う複雑なSQLワークフローを開発、テスト、バージョン管理、スケジュール設定することが出来ます。 Dataformのようなパイプライン管理ツールを使わない場合、SQLのバージョン管理や、テーブルAの後にテーブルBを作りたいといった依存管理などをどうするか考えなくてはいけません。そのような課題を解決してくれるのがDataformになります。 Dataform自体の利用には料金がかからないというのも大きな特徴です！ Dataformの構成要素 Dataformは以下の４つの
klov 2024/09/27
リンク
[初心者向け]Dataformを動かしてみた | DevelopersIO
データアナリティクス事業本部の根本です。案件でDataformを触る機会があり、面白いサービスだと感じたので記事にしてみました。はじめに DataformとはBigQueryに対してSQLを実行して、テーブル間の依存関係を保ちつつtableやviewを作成できる、データパイプラインツールです。 SQLでデータマートを作成する際に、多くの中間テーブルやRAWデータテーブルを参照する処理の場合、データパイプラインの管理が大変になりがちですがDataformを用いることで管理を効率化することができます。この記事の対象者 Dataformを動かしてみたいひと前提条件 Google Cloudのプロジェクトが作成されていること BigQuery, Dataform APIが有効になっていること Dataformの基本構成要素リポジトリ：SQLXファイル、JavaScriptファイル、Data
klov 2024/09/27
リンク
- 2024年9月29日
- 2024年9月27日
- 2024年9月26日