気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
1user
がブックマーク
1
1
dbtのpost_hookとBigQuery UDFでデータパイプラインの異常検知をする仕組みづくり - ミツモア Tech blog
1 user
engineering.meetsmore.com
engineering.meetsmore.com
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
dbtのpost_hookとBigQuery UDFでデータパイプラインの異常検知をする仕組みづくり - ミツモア Tech blog
こんにちは、株式会社ミツモアでエンジニアをしている酒井です。 本記事では、dbtのpost_hook機能とBigQ... こんにちは、株式会社ミツモアでエンジニアをしている酒井です。 本記事では、dbtのpost_hook機能とBigQueryのUser-defined functions (UDF) in Pythonを組み合わせることで、データパイプライン内で自動的にSlack通知を送信する方法と簡単な使用例を紹介します。 この仕組みが解決する課題 データパイプラインを運用する中で、以下のような課題を抱えていました： データ品質の問題を早期に検出したい: rawデータのスキーマ変更や異常値の混入などを早期に検出し、下流への影響を最小限に抑えたい 問題発生時に即座に通知を受けたい: Slackなど、チームが日常的に使うツールで即座に通知を受け取りたい 問題の原因を素早く特定したい: アラートが発生した際に、どのテーブルに問題があったのかをすぐに判断したい そこで考えたのがdbtモデルのpost_hookにア
engineering.meetsmore.com
engineering.meetsmore.com
engineering.meetsmore.com
engineering.meetsmore.com
www.hotpepper.jp
note.com/mokosamurai
note.com/iam_shin
wizsafe.iij.ad.jp
anond.hatelabo.jp
forest.watch.impress.co.jp
missasan.hatenablog.com
zenn.dev/cbmrham
zenn.dev/shintaroamaike
qiita.com/kazuya828
stockmark-tech.hatenablog.com
levtech.jp
agilejourney.uzabase.com
onaji.me
