BigQuery のクエリプランを確認し、SQLを実行した時の裏側の処理に思いを馳せてみた | DevelopersIO
こんにちは、データアナリティクス事業本部のみかみです。 本エントリは、クラスメソッド BigQuery Advent Calendar 2020 の 6 日目のエントリです。 25日のアドベントカレンダー終了まで、弊社クラスメソッド データアナリティクス事業本部のメンバーで Google BigQuery に関する記事を紡いでいこうと思います。 実行計画と BigQuery のクエリプラン MySQL や PostgreSQL などのデータベースエンジンでは、SQL の前に EXPLAIN を付けて実行することで、SQL の中の各ステートメントがどういう順番でどのくらいのデータ量を処理するのか、実行計画を確認することができます。 SQL のパフォーマンスチューニングなどで実行計画を確認しながら効率よく処理できるように SQL を修正していると、だんだんデータベースエンジンの考え方が分かって
Google Apps Script× BigQuery × Googleスプレッドシート × データポータルで簡易CRMを作ってみた - BASEプロダクトチームブログ
こんにちは!! BASE BANK 株式会社 Dev Division にてSoftware Developerをしている永野(@glassmonkey)です。 普段はGo/Python/PHPを主に生業に開発・運用から何でもござれの精神でフルサイクルエンジニアをしています。 現在、自分たちのプロダクトであるYELL BANKの分析基盤を構築しています。 その際に、BigQueryで扱っているデータをGoogle App Script(以下GAS)、Googleスプレッドシートとデータポータルで簡易CRMをビジネスサイドのメンバーである猪瀬 (@Masahiro_Inose)と協力して作ったのでそのご紹介です。 いざ実施してみるとハマってる点もそこそこ多く、意外とGASやBigQueryの連携している情報が少なかったので、誰かの助けになれば幸いです。 thebase.in 簡易CRMツール
[UA] BigQuery Export スキーマ - アナリティクス ヘルプ
GA4 移行に関するユニバーサル アナリティクス 360 のお客様への以前のお知らせを踏まえると、アプリビューの Big Query（BQ）エクスポートは 2024 年 5 月 14 日以降不安定になっており、期待どおりに機能しない可能性があります。 この記事では、ユニバーサル アナリティクスの BigQuery Export スキーマについて説明します。Google アナリティクス 4 の BigQuery Export スキーマについては、[GA4] BigQuery Export スキーマをご覧ください。 この記事では、BigQuery にインポートされるデータの形式とスキーマについて説明しています。 データセット BigQuery の統合が有効化されているアナリティクスの各ビューに、データセットが追加され、ビューの ID が名前として使用されます。 表 各データセット内で、エクスポ
Procedural language | BigQuery | Google Cloud
Send feedback Procedural language Stay organized with collections Save and categorize content based on your preferences. The GoogleSQL procedural language lets you execute multiple statements in one query as a multi-statement query. You can use a multi-statement query to: Run multiple statements in a sequence, with shared state. Automate management tasks such as creating or dropping tables. Implem
BigQueryで相関サブクエリがうまく動かなかった話 - シルバさんのテクテクぶろぐ。
相関サブクエリ自体よくないやり方ではあるけれど、それを使ってみたらわかりにくい挙動をしていた 例えばこんな感じのクエリ SELECT ( SELECT 1 FROM rdb.users WHERE users.total_pay < payments.pay ) FROM rdb.paymentspayments.payに応じてusersを絞り込んでごねごねしたくて書くと、 invalidQuery: LEFT OUTER JOIN cannot be used without a condition that is an equality of fields from both sides of the join. というエラーがでる どうも、BigQueryでは効率をあげるために、サブクエリはJOINに変換されるらしく、相関サブクエリ内のWHEREが不等号だとエラー起きるっぽい Big
SQLで始める自然言語処理 - やむやむもやむなし
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
サービスアカウントで BigQuery にアクセスするときに、どのロールでどんな操作が可能なのか確認してみた。 | DevelopersIO
サービスアカウントで BigQuery にアクセスするときに、どのロールでどんな操作が可能なのか確認してみた。 こんにちは、みかみです。 やりたいこと BigQuery の事前定義ロールにはどんな種類があるか知りたい 各ロールでどんな操作ができるのか知りたい BigQuery Python クライアントライブラリを使用する場合に、各ロールで実行可能な処理を確認したい 目次 GCP の権限管理 BigQuery の事前定義ロールを付与したサービスアカウントを作成 Python クライアントライブラリ経由で BigQuery を操作 プロジェクト関連操作 データセット関連操作 テーブル関連操作 テーブルデータ関連操作 ルーティン関連操作 モデル関連操作 ジョブ関連操作 許可されていない操作を実行した場合の挙動 ロールごとに実行可能な操作一覧 まとめ（所感） 参考 GCP の権限管理 GCE や
BigQuery がテーブルレベルのアクセス制御に対応 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 6 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud でのデータ管理に役立つ重要な新機能となる BigQuery のテーブルレベルのアクセス制御（テーブル ACL）機能をご紹介します。これは、これまでよりさらにきめ細かくデータを制御、共有するうえで重要となる機能です。一般的なデータ ウェアハウス システムでは、テーブルがセキュリティの基本要素の一つとなっていますが、BigQuery にテーブル アクセス制御機能が導入されたことにより、こうしたシステムとの互換性が高まり、セキュリティ ポリシーの移行が簡単になります。 テーブル ACLは、Google Cloud のエンタープライズ グレードのアクセス制御プラットフォームである Cloud Identity and Access Management
BigQueryのコスト可視化ダッシュボードをGoogle Apps Script/Google Sheets/Google Sitesを使ってお手軽に作る - Kaizen Platform 開発者ブログ
4月からKaizen Platformにジョインしたアプリケーションエンジニアのikedayu@つくばです。業務ではデータ解析や解析基盤構築を主に行っています。 Kaizen Platformでは、許可を求めるな、謝罪せよの文化が深く浸透していて、エンジニア一人ひとりの裁量が大きいのが特徴です。自分は、その裁量でしばしば自由研究的に身近な問題に挑戦していて、今回は、その1つについて紹介させてもらいます。 TL;DR ↓のようなBigQueryコストを可視化するダッシュボードを作ります 「日付ごとのコストの推移」と「IAMユーザーごとのコスト」を可視化することでコスト削減の方策が立てやすくなります G Suiteだけで完結するので、(G Suiteを使っている企業であれば) すぐに導入可能です 課題: BigQueryのコストはざっくりとしかわからない Kaizen Platformでは他の
BigQueryの新機能を使ってクエリ料金を1/1000にする - Kaizen Platform 開発者ブログ
こんにちは、エンジニアの大迫です。 Kaizen Platformでは、以前からGoogle BigQueryを利用して、ウェブサイトの行動ログや広告の配信レポートなど様々なデータを保存・活用できるような仕組みを整え、お客様のウェブサイトや広告クリエイティブの改善に取り組んできました。特にここ最近では、非エンジニア向けにBigQueryやSQLの社内勉強会が行われたり、 @ikedayu によりProduction以外のメンバーでも気軽にデータ分析ができる仕組みが作られたりして全社的にBigQueryの利用が広がっています。 その一方で、データを活用できる人が増えた結果として、BigQueryのクエリ料金も増えていく傾向になっています。 せっかくエンジニア以外でも分析できる仕組みがあるのに、クエリコストが気になってクエリ書くのが怖くなってしまってはもったいないので、こちらの記事にあるように
BigQuery実行プランを使用してクエリのパフォーマンスを向上させる
BigQueryは、フルマネージドのクラウドネイティブデータウェアハウスの市場におけるリーダーであり、Slalom Buildは、その使いやすさ、直感的なWebインターフェース、および低コストによって、組織全体でデータが真に民主化されていることを目の当たりにしました。データの民主化は基本的に前向きですが、SQLに精通しているさまざまなレベルのアナリストに大量のデータセットを公開すると、新しい一連の課題が発生する可能性があります。BigQueryのオプティマイザとアーキテクチャは、SQLServerやNetezzaなどのオンプレミスのRDBMSやMPPのものとは異なります。この違いは、開発者が機能しない可能性のあるチューニング方法を適用するときに、SQLの記述が不十分であるという問題を悪化させる可能性があります。 BigQueryのパフォーマンス調整には、多くの場合、非正規化、クラスタリング
【BigQuery】CREATE文を使えるの知ってた？SQLでテーブル作成｜ 開発者ブログ ｜ 株式会社アイソルート
【BigQuery】CREATE文を使えるの知ってた？SQLでテーブル作成 BigQueryのDDLサポートが2018年7月にGAとなりましたね。Standard SQLで”CREATE TABLE“することができるようになり、SQLユーザーにとってはBigQueryを利用する際の敷居が少し下がりました。 本記事ではBigQueryの CREATE TABLE 文でどのようなことができるかと、その構文に関して記載します。 目次 はじめに 事前準備（データセット作成） CREATE TABLE構文 基本的な使い方 オプションパラメータの指定 分割テーブルの作成 SELECT文の結果を使ってテーブルを作成 CREATE TABLE IF NOT EXISTS 構文と、CREATE OR REPLACE TABLE 構文 おわりに はじめに この記事は アイソルート Advent Calenda
BigQueryでワイルドカードが使えるテーブルってどうやって作るの？ - Qiita
結論としてはしょうもない話なのだが、正解に辿り着くまでにまぁまぁ時間を要したので、 同じ問題に直面した人向けに記事化しておく 3行で 記事タイトルの疑問は、私がひたすらググり続けてもよく分からなかった疑問 どんなにググっても解決されないのは当然で、別に特殊な作成方法など存在しないことが原因だった つまりBigQueryの_TABLE_SUFFIXは日付に限らずどんなパターンでもワイルドカードで取得できる そもそもなぜ私はワイルドカードで取得するタイプのテーブルには特別なテーブル作成が必要だと思っていたのか？ BigQueryの公式リファレンスにはワイルドカード（*）を利用したテーブルのクエリ方法についての説明はすでに存在している。 クエリの走査ボリュームを減らすためにもこの機能は可能な限り活用したいのでどうやったらワイルドカードで引っかかるようにサフィックス付きのテーブルを作成出来るのか調
BigQuery で今月のテーブル名を TABLE_QUERY を使って取得する - Qiita
BigQuery には Table wildcard functions という関数があって、テーブルを日次、月次とかに分割している場合に重宝します。 例えば、 TABLE_DATE_RANGE(mydata.people, TIMESTAMP('2014-03-25'), TIMESTAMP('2014-03-27')) こう書くと、 mydata.people20140325 mydata.people20140326 mydata.people20140327 というテーブルが一気に取得できます。 しかし、これ日次でテーブルを分割している場合にしか使えなくて、そこまで行数が多くない場合、月次で分割しているテーブルがあって、その今月分のデータだけを引っ張ってきたい、という場合に使えないのです。 ということで、擬似的に TABLE_MONTH_RANGE 的なことができないか試しいたとこ
BigQuery ScriptingがBetaリリースされたので軽くウォークスルーしてみる
2019/10/3にBigQuery ScriptingがBetaになったとリリースノートに上がりました。 これによって、BigQueryで変数宣言やループ処理といった複雑な処理などができるようになりました。個人的には待ちに待った機能です。 テンションが上がったのでドキュメントをざっとウォークスルーしてみることにしました。 ドキュメントはこちらです。 First BigQuery Script最初にこちらのクエリを実行してみます。使っているテーブルがBigQueryのPublicテーブルなのでそのまま実行できます。 -- Declare a variable to hold names as an array. DECLARE top_names ARRAY<STRING>; -- Build an array of the top 100 names from the year 2017
BigqueryStandardSQLの黒魔術ってなに！？記してみました！
この記事は eureka Advent Calendar 2018 15日目の記事です。 こんにちは。BIチーム小林です。 最近はもっぱらFortniteをメインに、スマブラをたまにやっています。 お昼は機械学習周りをメインに、分析をたまにやっています。 最近はガリガリとクエリを書くこともなくなってきたので、備忘録を兼ねて、かつて習得した黒魔術、もといStandardSQLの便利な記法を記しておきます。 ただし、主旨としては、SQLを使ってこんな便利なことができるんだぜ、こんな計算までできちゃうんだぜ、というよりは、こんなん書くのめんどくさいからこう書いちゃおうや、という記事です。 氷魔法 : 定数化TEMP FUNCTION を使って何回か使いそうなものは定数化BigqueryStandardSQLでは、クエリの中に一時的なUDF (ユーザーが定義した関数) を書くことができます。 これ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery: 分析関数を使って移動平均を算出する
概要: データ ウェアハウスを BigQuery に移行する | Google Cloud
BigQuery の IAM ロールと権限 | Google Cloud
Introduction to clustered tables | BigQuery | Google Cloud