エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
データ基盤をDataformで構築して気づいたこと - ドワンゴ教育サービス開発者ブログ
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
データ基盤をDataformで構築して気づいたこと - ドワンゴ教育サービス開発者ブログ
Dataform導入の経緯 ドワンゴ教育事業でデータサイエンティストとして一応なんとか働いている堀です。 ... Dataform導入の経緯 ドワンゴ教育事業でデータサイエンティストとして一応なんとか働いている堀です。 私たちのグループではBigQuery上で教育データのデータウェアハウス基盤を構築しています。 当初はDataformもリリースされていなかったこともあり、Scheduled Queryでデータウェアハウス基盤を構築していました。 しかしながらデータウェアハウス基盤が複雑化し実行SQLが増えるにつれ、SQLの依存関係をもとに各SQLの実行時間を定める必要がでてきて、Scheduled Queryでの管理が厳しくなってきました...... そういった背景から、現在Scheduled QueryからDataformへの移行を行なっています。 本記事ではDataform導入にあたり、どのようなしんどいところがあったのかや、その解決策について紹介します。 Dataformに興味のある方や、導入し