BigQueryのコスト可視化ダッシュボードをGoogle Apps Script/Google Sheets/Google Sitesを使ってお手軽に作る - Kaizen Platform 開発者ブログ
4月からKaizen Platformにジョインしたアプリケーションエンジニアのikedayu@つくばです。業務ではデータ解析や解析基盤構築を主に行っています。 Kaizen Platformでは、許可を求めるな、謝罪せよの文化が深く浸透していて、エンジニア一人ひとりの裁量が大きいのが特徴です。自分は、その裁量でしばしば自由研究的に身近な問題に挑戦していて、今回は、その1つについて紹介させてもらいます。 TL;DR ↓のようなBigQueryコストを可視化するダッシュボードを作ります 「日付ごとのコストの推移」と「IAMユーザーごとのコスト」を可視化することでコスト削減の方策が立てやすくなります G Suiteだけで完結するので、(G Suiteを使っている企業であれば) すぐに導入可能です 課題: BigQueryのコストはざっくりとしかわからない Kaizen Platformでは他の
Introduction to clustered tables | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Introduction to clustered tables Clustered tables in BigQuery are tables that have a user-defined column sort order using clustered columns. Clustered tables can improve query performance and reduce query costs. In BigQuery, a clustered column is a user-defined table property that sorts storage blo
BigQueryの新機能を使ってクエリ料金を1/1000にする - Kaizen Platform 開発者ブログ
こんにちは、エンジニアの大迫です。 Kaizen Platformでは、以前からGoogle BigQueryを利用して、ウェブサイトの行動ログや広告の配信レポートなど様々なデータを保存・活用できるような仕組みを整え、お客様のウェブサイトや広告クリエイティブの改善に取り組んできました。特にここ最近では、非エンジニア向けにBigQueryやSQLの社内勉強会が行われたり、 @ikedayu によりProduction以外のメンバーでも気軽にデータ分析ができる仕組みが作られたりして全社的にBigQueryの利用が広がっています。 その一方で、データを活用できる人が増えた結果として、BigQueryのクエリ料金も増えていく傾向になっています。 せっかくエンジニア以外でも分析できる仕組みがあるのに、クエリコストが気になってクエリ書くのが怖くなってしまってはもったいないので、こちらの記事にあるように
『COUNT(*)をレコードの存在チェックのために安易に使うべからず』
ある条件に合うレコードがテーブルに存在するかしないかを判断する場合に SELECT COUNT(*) FROM ～ WHERE ～ というSQLを使うことがあります。 一般的によく使うSQLだし、意味はあっているのですが、パフォーマンスの観点から、以下のような場合はできれば使用を避けた方がよい。 ・カウント対象件数が多い ・インデックスが効かない ・繰り返し実行することが多い なぜ避けた方がよいかというと、レコードがあるかないかを知りたいだけなのに、わざわざレコード件数をカウントしてやる必要はないからです。 特に上記のような状況に当てはまる場合は、カウントにかなりの処理時間を要するため、パフォーマンス低下の要因となってしまいます。 では、どんな方法を用いて存在チェックを行うのがよいかというと、思いつくのは以下の３つの方法です。 カーソルを使う方法 以下のようにレコードを検索するカーソルを作
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HUAWEI Search | HUAWEI Support South Africa