SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チームがdailyで転送しているデータがバッチの失敗により遅れていないか BigQueryのエラーレートが急激に増加していないか 承認済みビューの設定が意図せず消えていないか 今後の展望 背景 データ基盤の運用をしていると、日々様々なトラブルと向き合う必要があります。例えば、以下のようなものがあります。 他チームがdailyで転送しているデータがバッチの失敗により遅れている TerraformなどのIaCで承認済みビューの権限管理を行なっているが、コードの設定ミスで意図せぬ状態
新著が出ます：『センスの良いSQLを書く技術』｜ミック
「最近書きすぎなんじゃないの」と言われそうな気もするが、またまた新著が出る。著者もそろそろキャリアの終わりを意識するようになって、体と頭が動くうちに宿題を終わらせておかないとな、という心境である。 本書は純粋な技術書ではない。コードもあまり出てこないので寝転がっても読める。エッセイと言ってしまえばそれまでだが、技術の背景にある思想や理論（あとちょっとした仕事術）にフォーカスした本だ。NewSQLやHTAP、生成AIによるクエリジェネレータなど時事的なテーマも扱っているが、その根底にもデータベース独自の思想や考え方が含まれている。その意味で本書は、筆者がどんな考え方や知識をバックグラウンドとしてDB/SQLに向かい合ってきたかという、今まで明示的に語ってこなかった頭の中を直接ダンプしたような内容になっている。それを伝えることで、長い目で見て読者の血肉になるような物事の考え方や視野の広さを養え
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - kripken/sql.js
