BigQueryのINFORMATION_SCHEMAから再帰CTEを使ってリネージをたどり、派生先まで含めたテーブルの参照回数を取得する
BigQueryのINFORMATION_SCHEMAから再帰CTEを使ってリネージをたどり、派生先まで含めたテーブルの参照回数を取得する BigQuery の INFORMATION_SCHEMA.JOBS_BY_XXX ビュー：テーブルの親子関係を隣接リストとして保持しているビュー BigQuery では、SQL ジョブの実行メタデータは、INFORMATION_SCHEMA の JOBS_BY_XXX ビューに記録されています。 このビューには、実行されるジョブごとに、そこで参照されるテーブル（親）と派生先のテーブル（子）を含むイベント情報が記録されます。このイベント情報がテーブル間の関連を表現し、ジョブによるテーブル間の親子関係のグラフを形成します。 親子関係にあるテーブルが循環依存しないように「ちゃんと」管理されている場合、このグラフは閉路のない木 (tree)として考えることが
INFORMATION_SCHEMAでBigQueryの利用状況を確認｜テクニカルブログ｜日本情報通信株式会社
BigQueryを利用していく上でユーザの利用状況は非常に重要な要素です。 今回はBigQueryのINFORMATION_SCHEMAを用いて私が便利だと思ったものを紹介したいと思います。 INFORMATION_SCHEMAとは INFORMATION_SCHEMAとはBigQueryの様々なメタデータへアクセスするためのビューとなります。 ビューを通して過去180日のデータへアクセスが可能です。 またこれらのビューは通常のクエリと同様クエリ処理量により課金が発生します。キャッシュは効かないためクエリの実行ごとに課金が発生するので注意が必要です。 INFORMATION_SCHEMAは実装後何度も改善されて来ています。 最近いろいろなビューが追加されています。 2020年9月現在以下のビューが提供されています。 今回はジョブのメタデータを中心にご紹介します。 dataset metad
【BigQuery】データアクセス監査ログの確認方法
【前提条件】 ・ リージョンは、東京リージョン(asia-northeast1)を利用しています。 ・ オーナーでもなく、プライベートログ閲覧者のロールも付与されていないユーザを利用します。 ・ BigQueryのSQLクエリは、すでに実行された状態とします。 実施手順 Cloud IAMでロール追加 Cloud Loggingでログ確認 1. Cloud IAMでロール追加 GCPコンソールにログインし、[IAMと管理] > [IAM]を開きます。 権限付与するユーザを編集します。 [別のロールを追加]ボタンを押し、[Logging] > [プライベートログ閲覧者]を選択します。 [保存]します。 2. Cloud Loggingでログ確認 [ロギング] > [ログ エクスプローラ]を開きます。 正しくロールが付与されているとクエリ結果に出力されたログが表示されます。 上部のクエリのプレ
BigQuery や Google Workspace のログを使って分析環境を管理する｜Mercari Analytics Blog
BI Product チームの野本です。 メルカリでは Google BigQuery 監査ログと Google Workspace ログイベントを BigQuery にエクスポートして、データ分析環境の管理に活用しています。アクセス履歴を詳細に調べられる BigQuery 監査ログは、分析環境のコスト最適化やテーブルの変更時の影響範囲調査などの管理業務にとても便利です。 BigQuery の利用が増えてくると、過剰に高頻度なクエリジョブや、使われずに放置されたテーブルなどにかかる無駄なコストも増大していきます。これらの使われていないジョブやテーブルを抽出し削減することで、BigQuery の計算やデータの保管にかかるコストを削減することができます。 メルカリでは、BigQuery 監査ログ、Google Workspace ログイベントを活用して、分析環境の管理業務に役立てていますので、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
