SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チームがdailyで転送しているデータがバッチの失敗により遅れていないか BigQueryのエラーレートが急激に増加していないか 承認済みビューの設定が意図せず消えていないか 今後の展望 背景 データ基盤の運用をしていると、日々様々なトラブルと向き合う必要があります。例えば、以下のようなものがあります。 他チームがdailyで転送しているデータがバッチの失敗により遅れている TerraformなどのIaCで承認済みビューの権限管理を行なっているが、コードの設定ミスで意図せぬ状態
【Python】sqlparseを使ってDDL以外のSQLファイルを抽出する | DevelopersIO
データアナリティクス事業本部の貞松です。 最近、データ分析環境絡みで特定のプロジェクトに含まれるSQLファイルをパースして解析したい要件が発生しました。 本記事では、上記の要件に対応する為に使用したsqlparseというライブラリについてご紹介すると共に、sqlparseを使って、任意のディレクトリ配下のSQLファイルからDDL(CREATE TABLE)でないファイルを抽出する方法を解説します。 sqlparseとは sqlparseは非検証SQLパーサー(処理対象のSQL文の正当性は検証しない)のpythonライブラリです。 GitHub - andialbrecht/sqlparse: A non-validating SQL parser module for Python サポートされているPythonバージョンは3.4以降で、インストールはpipで行います。 pip insta
【PostgreSQL】大量データの投入にgenerate_series()関数の使用をおススメする3つの理由 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに こんにちは、新卒で入社して3年目のnorth_mkyです。 最近業務でSQLチューニングをする機会があったので、実行計画を読み解く記事を書こう！...と思いたったのですが、記事を書くにあたってサービスのデータベースを使うわけにはもちろんいかないので適度なサンプルデータベースを作成し、 大量のデータを投入する という準備作業を行う必要がでてきました。 今まで大量のデータを入れるという作業はあまりしたことがなかったため、備忘も込めて当初予定していた記事を書く前に大量データの投入について述べたいと思います。 はじめに PostgreSQLに大量データを投入する方法は大きくは2つ generate_series()関数を使用する方法をおすすめする3つの理由 1. 大量データ投入処理までの準備はなし 2. 学習コストがほとんどない 3. 実行時間がCOPYコマンドと変わらない genera
SQLによるデータ分析のテクニック - Qiita
概要 前処理大全を読み、以下の理由から感銘を受けたものを記載する。 データ分析で、これに近いことを頼まれた(このような面倒くさい処理は、データ分析ではよくある) こんなふうにSQLを書けるんだ。めっちゃ楽やんと知った。 詳しくは前処理大全を読むことをおすすめします。 データなども「前処理大全」のgithubにあります。 前提 以下のSQLはPostgreSQLのものです。(最下部の日付の計算以外はほかでも動きそう) 内容 最も多い価格帯(最頻値)の取得 予約を格納したテーブルから、最も頻出する価格帯を取得する。 正確な価格ではなく、ROUND関数を使って千円の桁で四捨五入をしたものを対象にする。 SQL
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonとMoz SQL Parserを使用してSQLを解析する
