BigQuery DataFramesを使ってみる | DevelopersIO
このデータをBigQuery DataFramesで扱います。内容としては{project_id}.data_set_test.jp_weatherのデータを使ってPandasで行う一般的な分析操作を行います。コードは以下になります。 import os import bigframes.pandas as bpd bpd.options.bigquery.project = os.environ.get("GOOGLE_PROJECT_ID") bpd.options.bigquery.location = "asia-northeast1" df1 = bpd.read_gbq("{project_id}.data_set_test.jp_weather") # df1 = bpd.read_gbq("SELECT * FROM {project_id}.data_set_test.j
統計ダッシュボード機能を BigQuery と BI Engine で実装する
先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analytics から BigQuery へ連携しており、イベントデータ（BigQuery）と記事データ（Cloud SQL）をどうJOINさせるかが課題 外部接続でBigQueryからCloud SQLつなぐことにした 統計データ読み出し時、BigQueryを直接使うとクエリ毎に課金されてしまうため、BigQuery BI Engine を使うことにした スケジュールクエリを使い、BI Engineの容量に収まるように集計データを最小限にまとめる チャートは Chart.js
CTEs(Common Table Expressions)について学び直す
本記事はBigQuery Advent Calendar 2022に寄稿した記事となります。 17日目はBigQueryに直接関する内容ではなく、BigQueryで取り扱うSQLの構成について語らせていただきます。 ☕️Ice Break Who are you? / お前は何者だ？ 初めましての方は初めまして。ご存知の方はお久しぶりです。 @kazuya_araki_jpと申します。事業会社でデータ関連の職に就いている者です。 詳細はnoteの方が詳しいのでそちらをご覧ください。 Recent state / 最近何している？ 本業がﾄｯﾃﾓﾄｯﾃﾓｲｿｶﾞｼｶｯﾀYO! 法人準備中。 Splatoon 3 Introduction / 導入 ここ最近に限らずですが、BigQueryを扱う上でSQLの書き方に悩み続けています。 というのも、大昔(少なくとも私がSQLおよびデータベースを知
BigQueryのコストを抑えろ！ DeNAが取り組む「BQドクター」の実態 1年で1600万円を削減見込み
BigQueryのコストを抑えろ！ DeNAが取り組む「BQドクター」の実態 1年で1600万円を削減見込み（1/2 ページ） 米Google Cloudが提供するクラウドデータウェアハウス「BigQuery」。くら寿司やヤフーなど、さまざまな企業がデータ分析に活用している。ディー・エヌ・エー（DeNA）もその1社で、数百以上のプロジェクトに取り入れるなど、全社的に活用しているという。 ただ、DeNAではBigQueryの活用に課題を抱えていた。社内におけるBigQuery活用の統制・管理が徹底できていなかったことだ。特にコスト管理や、事故による予算超過を防ぐ仕組みが確立できていなかったという。 一方、DeNAでは対策も進めている。同社では「BQドクター」と題し、BigQueryの課題改善に向けた取り組みを実施している。コスト管理の仕組み作りなどを進めた結果、2022年度は年間で約1600
データマネジメントがちょっと楽になるBigQuery監査ログの使い方
社内のデータマネージメントにBigQueryの監査ログを活用する話しです。 datatech-jp Casual Talks #3で発表。 https://datatech-jp.connpass.com/event/252062/ 資料内のリンク 1. データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog https://tech-blog.monotaro.com/entry/2022/03/04/090000 2. データレイク構築後の四方山話 #DPM / 20190905 https://speakerdeck.com/yuzutas0/20190905 宣伝 Twitter : https://twitter.com/__hiza__ Team Blog: https://note.com/mercari_data Meet
楽天グループがデータ分析基盤にGoogle CloudのBigQueryを採用、全事業が対象に
楽天グループは、全社的なデータ分析基盤でGoogle Cloudを採用した。2022年4月19日から21日にかけてGoogle Cloudが開催中のイベント、「Google Cloud Day: Digital ’22」で明らかにした。 楽天グループは自社データセンターで、同社が「SuperDB」と呼ぶデータウェアハウスを運用している。このデータウェアハウスが格納しているのと同じETL処理後のデータを、Google CloudのBigQueryに移行する作業を進めているという。 移行プロジェクトは2021年2月に開始。楽天グループの中核ビジネスであるコマース事業や金融事業のデータ移行が終わり、 2022年第4四半期中には同グループの全事業についてBigQueryを活用した分析ができるようになる。 楽天グループ 執行役員 Cloud Platform Supervisory Departme
Working with JSON data in GoogleSQL | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Working with JSON data in GoogleSQL BigQuery natively supports JSON data using the JSON data type. This document describes how to create a table with a JSON column, insert JSON data into a BigQuery table, and query JSON data. Overview JSON is a widely used format that allows for semi-structured dat
ログのクエリと表示の概要 | Cloud Logging | Google Cloud
フィードバックを送信 ログのクエリと表示の概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このドキュメントでは、Google Cloud コンソールを使用してログエントリのクエリ、表示、分析を行う方法について説明します。ログ エクスプローラとログ分析の 2 つのインターフェースがあります。両方のインターフェースでログのクエリ、表示、分析を行うことができます。ただし、クエリ言語は異なり、機能も異なります。 ログデータのトラブルシューティングと探索には、ログ エクスプローラを使用することをおすすめします。分析情報と傾向を生成するには、ログ分析を使用することをおすすめします。 Logging API コマンドを発行することによって、ログに対してクエリを実行し、クエリを保存できます。Google Cloud CLI を使用して、ログをクエリすることもできます
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://services.google.com/fh/files/misc/19092_bigquery_best_practices_and_cost_optimization_whitepaper_v3_ca.pdf?hl=ja
Data Vault Whitepaper
dbt-BigQuery whitepaper
Keluaran Hk 4D | Data Hk, Pengeluaran Hk, Hk Prize, Togel Hongkong Hari Ini
Hash functions | BigQuery | Google Cloud
Google BigQuery JDBC Driver Downloads | Progress DataDirect
View edition slot recommendations | BigQuery | Google Cloud
Google Cloud launches BigQuery capacity recommendations | Google Cloud Blog
dbtとBigQueryで始めるData Vault入門
BigQuery 管理の概要 | Google Cloud
BigQuery Audit Logs pipelines & Analysis | Google Cloud Blog
BigQueryの2021年アップデートを（だいたい）全部振り返るまとめ
