BigQuery Scriptingの便利な使い方をまとめてみた - yasuhisa's blog
背景 & Disclaimer 自分自身はこれまでBigQuery Scriptingをほぼ使っていませんでした BigQuery自体は3年くらいの利用歴 SQL単発で済ませるのが苦しそうな場合は、Pythonなどのプログラミング言語 + ワークフローエンジンの組み合わせで戦っており、自分としては特に困っていなかった 社内で他の方が使うケースをぼちぼち見ることがある 自分は困っていなくても、社内のBigQueryユーザーでBigQuery Scriptingを使っていて困っている人がそれなりにいる 著者はそれなりのBigQueryユーザーがいる企業のデータ基盤の人間です さすがに「使ったことないので、分からないですねー」で済ませるわけにはいかなくなってきた そもそもどんなユースケースで便利なのかすらも分かっていない状態なので、便利そうに思える場合をまとめてみることにしました というわけで、
Cloud Monitoringのメトリックを簡単にBigQueryにloadできるcloud_monitoring_metrics_fetchを作りました - yasuhisa's blog
3行まとめ Cloud Monitoringのメトリックは便利だけど、使い慣れたSQLで詳細な分析がしたい メトリックをBigQueryに簡単にloadできるツールを作りました ラベルを絞った詳細分析などもできるので、是非使ってね 背景 Cloud Monitoringのメトリックは便利 しかし、詳細に分析しようと思うと、不足する部分がある 例: 時間帯毎の傾向や日時毎の傾向 月初の午前中だけ遅いのでは?とか調べたいけど、Cloud MonitoringのUIだけでは限界がある MQLを頑張って覚えたくない BigQueryに同じデータがあれば簡単にSQLを書いて分析できるのに! 公式からもやり方の案内はある Cloud Monitoring metric export | Cloud Architecture Center | Google Cloud が、ちょっとした分析でこの
BigQueryにシンクしたデータアクセス監査ログでよく使うクエリ5選
株式会社マネーフォワードでデータエンジニアをしている太田です。 BigQuery Advent Calendar 2021 15日目の記事です。 当初、「VPC Service ControlsとBigQuery」をテーマに記事を書いておりましたが内容に誤りがあったためテーマ変更してお送りします。 当初のテーマの記事は後ほど内容整えて別途公開したいと思います。 急遽テーマ変更したため、薄い内容の記事になってしまったこと、アドベントカレンダー記事として公開が遅れたことお許しください🙏 さて、今回はBigQueryに溜めた監査ログを読む際にわたしがよく使用しているクエリを紹介したいと思います。 個人的な話をすると、近年は分析屋兼データエンジニアからデータエンジニア専業にシフトしつつありクエリを投げる機会が減っていたりします。 今年一番お世話になったテーブルは、組織でシンクしているデータアクセ
BigQueryのデータセットにアクセス出来るアカウント一覧の取得方法 - Qiita
BigQuery Advent Calendar 2021 3日目の記事になります！ BigQueryのデータセットにアクセス出来るアカウント一覧を取りたいという場面があり色々苦労しつつも取り方がわかりました。 ここでいうアクセス出来るとはデータセット内のテーブルのデータを参照出来ることを指しています。 このようなデータを取りたい場合は基本的にCloudAssetInventoryを使えば出来ます。 以下のコマンドでまずは取ってみました org配下の権限をすべて確認するためこちらのコマンドを叩くにはorgレベルの権限が必要となります。 gcloud asset analyze-iam-policy --organization="XXXXXXX" --full-resource-name='//bigquery.googleapis.com/projects/XXXXXX/datasets
BigQuery での Materialized View による JSON 列の処理 | MoT Lab (GO Inc. Engineering Blog)
BigQuery でさまざまな情報が JSON 形式で格納されているテーブルはありませんか？ MoT でも JSON 形式でログ情報を格納しているテーブルが存在します。そのようなテーブルの難点と、難点を克服するためのエンジニアリングについて紹介します。 AI技術開発部アルゴリズムグループの老木です。本記事は、BigQuery Advent Calendar 2021 の 1日目の記事です。 テーブルのSTRING型の列に JSON データを埋め込むのは強力なソリューションです。JSONを用いることで得られるメリットとして、 フィールドの追加や削除が容易行ごとに全く異なるスキーマのデータが保持可能複雑なスキーマ定義を省略することができるがあります。MoT では一部のログテーブルで JSON が埋め込まれた列が存在します。 しかし、これらのメリットは主にテーブルを書き出す側のものです。テーブル
BigQuery を使って分析する際の tips (part1)
TL;DR BigQuery で分析する際の tips をまとめてみる。長くなりそうなのでいくつかに分割して書く part1 はエディタとして何を使うかとか実行結果の連携などについて書く BigQuery console/DataGrip を使いつつ、結果を GitHub issues/Google Sheets/Bdash Server で共有するという感じで使っている 仕事で BigQuery を使って分析することが多いので、いくつかの回に分けて BigQuery を使って分析する際の tips をまとめていくことにする。今回は part1 としてエディタとして何を使うかとか実行結果の連携などについて書く。 個人的な探索的・アドホック分析用途の話に限定して、組織的にどういうデータ分析基盤を使うかとかそういう話はしない（会社だと ETL の L として dbt https://www.g
BigQuery 2021/9月のupdate情報まとめ - イクジニアブログ
Google Cloud Nextが始まって続々とBQの新機能が発表されてますね！ Nextで發表された内容のまとめは来月書きます それでは先月までに引き続き9月のまとめもいってみましょう！ nii-yan.hatenablog.com JOB履歴の削除が可能に BQでは過去6ヶ月分のJOB履歴を持ちますが、JOB履歴の削除が可能になりました。(悪用しちゃだめですよ bq rm -j ‘プロジェクト名:ロケーション.job_id’ where句に個人情報を入れてしまった場合などセンシティブデータを消したい場合に有効 メタデータ(INFORMATION_SCHEMAでの参照データなど)は消えますが、ログからは消えません セッションが利用可能に WebUIからセッションが使えるようになり、トランザクション(begin/commit/rollback)が利用可能に 本番作業を安心に出来るようにな
分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロット数を定量的に決定する方法を紹介します - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉本と吉田(id:syou6162)です。モノタロウでは基本的にはBigQueryを定額料金で利用していますが、利用者の多い時間帯はFlex Slotsも併用しています。本エントリでは、Flex Slotsの適切なスロット数を定量的に決めるために行なった試行錯誤について紹介します。 モノタロウでのBigQueryの利用状況 課題感 課題感1: 適切なFlex Slotsのスロット数をどう決めるか 課題感2: 過去の期間との実行時間は単純には比較できない 解決策 解決策1: 同一のクエリを定期的に動かし、実行時間をCloud Monitoringで計測 解決策2: 計測用オンデマンドのGCPプロジェクトでもクエリを実行し、理想状態との相対実行時間を知る まとめ モノタロウでのBigQueryの利用状況 モノタロウでは様々な意思決定の場面でデータ活用が行なわれて
BigQuery で統計処理を完結させる | MoT Lab (GO Inc. Engineering Blog)
はじめまして、AI技術開発部 分析グループ の浅見です。 Mobility Technologies（MoT）では、BigQuery上でログの保存やデータマート運用を行い、集計や分析をした上で、LookerやGoogleスプレッドシートで効果検証などをレポート化しています。BigQueryはとても強力なツールなのですが、統計処理を入れようとすると、PythonやRなどの別モジュールを構築する必要があり、メンテナンスコストが発生してしまいます。 そんな時のため、BigQuery内で統計処理を完結させるちょっとしたTipsを紹介します。 UDFを最大限活用しましょう！本記事の基本的な発想としては、 BigQueryでは、統計処理を行う関数はそこまで充実していません。例えば、t分布の累積分布関数（CDF）さえ計算できれば、t検定のp値を得ることができるのですが、BigQueryの統計集計関数では
【BigQuery】2021.7.27にPreview公開されたINTERVAL型を試してみる - とりゅふの森
BigQueryの2021.7.27のリリースノートで、INTERVAL型というものがPreview公開されたらしいので試してみました。 Release notes | BigQuery | Google Cloud Intervalというと間隔という意味ですが、ここではどのように使われるのか、実際にSQLを実行しながら検証してみようと思います。 INTERVAL型を作成する INTERVAL型で日付の加減算をしてみる INTERVAL型、いつ使うの？ まとめ 集中演習 SQL入門 Google BigQueryではじめるビジネスデータ分析 できるDigital Camp 作者:木田和廣インプレスAmazon INTERVAL型を作成する 公式ドキュメントには、期間、時間を以下のようなフォーマットで表すと書いてあります。 https://cloud.google.com/bigqu
Athena+Embulk+BigQueryによるアプリケーションログの分析環境構築
はじめにこんにちは、Finatextで証券プラットフォーム（Brokerage as a Service、以下BaaS）の開発に携わっている石橋（@bashi0501）です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善（後述します）に活かしていきたいという意図があるため、マ
マネーフォワード ケッサイのBigQueryリソース ラベル規約 | Money Forward Kessai TECH BLOG
BigQueryの布教活動をしていますna0です。 この文書は、BigQueryリソースに対する期待値をラベルで明示する提案を行うものです。 組織全体でデータ品質に合意するための第一歩としてBigQueryリソース ラベルを使ってみませんか。 ラベル品質のベースラインとして、マネーフォワード ケッサイで運用している規約を紹介します。 BigQueryリソース ラベル規約 この文書は、データ活用を促すためのBigQueryラベル規約を定めるものです。 提案、指摘をお願いします。 結論 BigQueryリソースに対する期待値をラベルで明示しましょう 一貫性を持ったラベル付けのために、規約を整備したのでご協力ください 課題意識 BigQueryの利用者が増えていくと、リソースに対する期待値も様々です。 期待値に合うリソースなのかを利用者自身で判断できる状態が望ましいです。 期待値がずれていると、
SQLで始める自然言語処理 - やむやむもやむなし
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
BigQuery SQL でレイトレーシング - Qiita
# 以降はコメントなのでこれは valid な pnm フォーマットです。 拡張子 pgm で保存すれば、Windows の場合は IfranView、macOS の場合は Preview.app で表示できます。 これで BigQuery で画像を出力できることが確認できました。 BigQuery によるレイトレーシング というわけで、BigQueryでレイトレーシングをやってみましょう。 実際のSQLコードは以下のようになります。 -- Vec3のドット積 CREATE TEMPORARY FUNCTION DOT (a STRUCT<x FLOAT64, y FLOAT64, z FLOAT64>, b STRUCT<x FLOAT64, y FLOAT64, z FLOAT64>) AS ( a.x*b.x + a.y*b.y + a.z*b.z ) ; -- 線形結合 aP +
Digdag + Embulkをクラウド転生させてデータ基盤運用を圧倒的に楽にした話 - エムスリーテックブログ
こんにちは、エムスリー エンジニアリンググループ / 製薬企業向けプラットフォームチームの鳥山 (@to_lz1)です。 これは エムスリー Advent Calendar 2020 の19日目の記事です。 エムスリーでは現在、各システムのオンプレ環境からクラウドへの移行を急ピッチで進めているところです（勉強会の配信アーカイブをYouTubeでもご覧いただけます。公式テックチャンネルのご登録、ぜひお願いします!） www.youtube.com これに関連して私のチームでも最近「データ基盤（Digdag + Embulk）のクラウド移行」を行ったため、そのときに考えたことや移行して良かったことを共有したいと思います。 エムスリーのデータ基盤について それまでの構成 クラウド環境でのアーキテクチャ DigdagとEmbulkの分離 Digdag on AWSからBigQueryを操作する 併
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery Hack: Flexible Queries For Any Number of Columns
Working with BigQuery Stored Procedures & Scripts | Hevo
セキュアなBigQueryの運用方法
google_bigquery_dataset の access 属性と google_bigquery_dataset_access - pokutuna
How to perform joins and data denormalization with nested and repeated fields in BigQuery | Google Cloud Blog