SQL パイプライン開発に便利な Dataform 7つのお気に入りポイント - FLINTERS Engineer's Blog

テクノロジーカテゴリーの変更を依頼記事元:

labs.septeni.co.jp

65 usersがブックマークコメント

コメント

3

禁止事項と各種制限措置についてをご確認の上、良識あるコメントにご協力ください

0 / 0

twitterアカウントが登録されていません。アカウントを紐づけて、ブックマークをtwitterにも投稿しよう！登録する

現在プライベートモードです設定を変更する

記事へのコメント3件

人気コメント
新着コメント

legoboku やはりデータ品質チェックとDWH上のデータ変換が盛り上がってきてる印象。データ変換ツールはBigQueryならDataform、Snowflake ならdbtが良いのかな。

2021/04/04 リンク

yigarashi Dataform内でjs使えるの知らなかった

2021/04/04 リンク

sh19910711 ".sqlx ファイル内の js { } ブロックや、 .js ファイルで SQL を文字列として生成してそれを利用することが可能"

2021/04/04 リンク

人気コメント算出アルゴリズムの一部にヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

関連記事

SQL パイプライン開発に便利な Dataform 7つのお気に入りポイント - FLINTERS Engineer's Blog

こんにちは。河内です。最近はデータ基盤の構築も取り組んでいたりします。社内では他の DWH が使われ... こんにちは。河内です。最近はデータ基盤の構築も取り組んでいたりします。社内では他の DWH が使われている事例がありますが、今回の基盤ではデータソースとの親和性や価格面などを考慮し BigQuery で行くことにしました。 BigQuery 上で多くのデータを順次変換してデータを生成するために何らかのワークフローエンジンが必要でした。社内の他のシステムではワークフローエンジンとして Digdag を採用している例が多いですが、このシステムでは Kubernetes 上でサービスを運用しているため、当初(2020年 12月)は Argo Workflow 上でクエリを順次実行することを構想していました。構想中に Dataform が Google に買収され、無料で使えるようになったというニュースが飛び込んできたため、触って感触が良いことを確かめた後、Dataform を使っていくことに

ブックマークしたユーザー

ebirhus2022/01/26
spinningplates2021/09/29
gappy502021/05/19
atm_09_td2021/04/08
highfrontier2021/04/08
kumamoto-kouki2021/04/05
slay-t2021/04/05
NSTanechan2021/04/05
yfnt2021/04/05
se7en12021/04/05
hasunuma06132021/04/05
sh052021/04/05
R2M2021/04/05
Humangas2021/04/05
mstk_knife2021/04/05
civitaspo2021/04/05
demacs2021/04/05
uokada2021/04/05

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx