[GCP]Log AnalyticsとLooker StudioでBigQueryのクエリコストをユーザー別に見える化する - Qiita
[GCP]Log AnalyticsとLooker StudioでBigQueryのクエリコストをユーザー別に見える化するBigQueryLogAnalyticsGoogleCloudLookerStudio 先々月～先月（2022年9, 10月）頃、Cloud LoggingシリーズにLog Analyticsの公開プレビュー版が利用可能になったので、使ってみつつ、Looker Studio（旧Google Data Portal）でBigQueryのクエリコストをユーザー別に見える化するところまで実施してみたので、覚書きを残しておきます。 ※本記事は、2022年11月1日に執筆しました。 用語解説 Log AnalyticsとLooker Studioについて、簡単に解説しておきます。 Log Analytics Cloud Loggingシリーズの機能セットのひとつで、BigQuer
![[GCP]Log AnalyticsとLooker StudioでBigQueryのクエリコストをユーザー別に見える化する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/26429e0f4e6506e9a138dfca3fb1b625e59fa545/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCR0NQJTVETG9nJTIwQW5hbHl0aWNzJUUzJTgxJUE4TG9va2VyJTIwU3R1ZGlvJUUzJTgxJUE3QmlnUXVlcnklRTMlODElQUUlRTMlODIlQUYlRTMlODIlQTglRTMlODMlQUElRTMlODIlQjMlRTMlODIlQjklRTMlODMlODglRTMlODIlOTIlRTMlODMlQTYlRTMlODMlQkMlRTMlODIlQjYlRTMlODMlQkMlRTUlODglQTUlRTMlODElQUIlRTglQTYlOEIlRTMlODElODglRTMlODIlOEIlRTUlOEMlOTYlRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTA3YzhmMWM0ODdkOTI5MGRhMzcyYWEyMGYzZmZiZGY3%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwQ19IRVJPJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzImdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01M2I4YzAxNWZhODNkYjA1ZjA0NTA1ZjYyM2MyMGZlNQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D8ed796666e6a007091ac599b347f8e23)
10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
BigQueryのコスト可視化ダッシュボードを10分で作る - 下町柚子黄昏記 by @yuzutas0
この記事はGoogle Cloud Platform その１ Advent Calendar 2018 - 18日目の記事です。 以前こういうブコメをしたのですが、言いっ放しだとダサいので、具体的なやり方を書きます。 "アカウントごと/日付ごとのBigQueryコストを可視化できるダッシュボード" なら Stackdriver + BQ + Datastudio を使うと作業時間10分・ほぼ無料で作れるので、うちはそのやり方を採用していますね。… https://t.co/9yoni22iw7— ゆずたそ (@yuzutas0) August 17, 2018 もくじ もくじ はじめに この記事のゴール 解決したい課題 課題の背景 実行方針 完成イメージ 作業手順 1: BQクエリ実行ログを流す 2: DataStudioでダッシュボードに表示する 応用編 1: 全体コストを可視化する 2
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GCP Next: Googleが描く、MapReduceを超えたビッグデータの世界
