Cloud OnAir 番組レポート : BigQuery の仕組みからベストプラクティスまでのご紹介 | Google Cloud 公式ブログ
Cloud OnAir は、Google Cloud の製品をわかりやすく解説し、最新の情報などをいち早く皆様にお伝えする Online LIVE 番組です。 今回は、「BigQuery の仕組みからベストプラクティスまでのご紹介」と題して、Google BigQuery の仕組みとその使い方をご紹介します。データ分析基盤としての活用が進む BigQuery を深掘りしていきます。 BigQuery とはサーバーレスでスケーラビリティに優れたエンタープライズ向けデータ ウェアハウスである BigQuery。2006 年に論文発表した Dremel という Google 社内向けのサービスを起源としています。Dremel は社内にある大量のデータリソースを扱う基盤となっており、番組では、その開発の経緯にも触れながら、BigQuery が提供する機能やその特徴を解説します。 スケーラブルで巨大
BigQueryでレインボーテーブル攻撃をしてみた - Qiita
#standardSQL with chars as ( SELECT * FROM UNNEST(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', null]) as char ) select str from ( select concat(ifnull(a.char, ''), ifnull(b.char, ''), ifnull(c.char, ''), ifnull(d.char, ''), ifnull(e.char, ''), ifnull(f.char, '')) as str from chars as a cross join chars as b cross
Enable the BigQuery sandbox | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Enable the BigQuery sandbox The BigQuery sandbox lets you explore limited BigQuery capabilities at no cost to confirm whether BigQuery fits your needs. The BigQuery sandbox lets you experience BigQuery without providing a credit card or creating a billing account for your project. If you already cr
【Firebase Analytics】新しくなったBigQuery Export まとめ - コネヒト開発者ブログ
こんにちは、サーバーサイドのお仕事してます金城(@o0h_)です。 今更ながら忍空2nd STAGE〜干支忍編〜を読みました！黄純いいキャラ。 ここに至る前の話となる、「忍空 7〜9巻」もKindle出ないですかね。。。 忍空―SECOND STAGE 干支忍編― 12 (ジャンプコミックス) さて、先日「Firebase AnalyticsのBigQuery Exportで、作成されるスキーマが刷新される」という変更が実施されています。 コネヒトでは大変便利にFirebase Analyticsのrawデータを用いた集計・分析を行っていたので、今回の変更は冷静かつ迅速に対応する必要がある内容でした。(以前書いたこの記事とか。) 今回は、「実際どう変わるの」「何を対応すればいいの」といったポイントをまとめたので、折角なので公開しちゃいたいと思います。 お品書き 変更の背景は？ 実際にどう変
BigQuery に関する１２の誤解の真相を明らかにする
この記事は Busting 12 myths about BigQuery の著者の許可を得た上で @yutah_3 が日本語訳、補足したものです。個人的に気になった話等を含めて “訳者注” を入れながら翻訳します。 割と最近、 Forrester Research のレポート The Forrester Wave™: Insight Platforms-As-A-Service, Q3 2017 では Google Cloud は Leader のポジションとして位置付けられました。 BigQuery がこの中で果たした功績は間違いなく大きいでしょう。 私達は日々、スタートアップから大企業のお客様に至るまで、多様な Google BigQuery をお使いのお客様と、お客様の分析やデータウェアハウスに関する課題を解決するために一緒に取り組んでいます。多くの場合、私達のお客様は BigQu
Querying nested and repeated fields in legacy SQL | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Querying nested and repeated fields in legacy SQL This document details how to query nested and repeated data in legacy SQL query syntax. The preferred query syntax for BigQuery is GoogleSQL. For information on handling nested and repeated data in GoogleSQL, see the GoogleSQL migration guide. BigQu
BigQuery では COUNT(DISTINCT(X)) ではなく EXACT_COUNT_DISTINCT(X) を使おう - Qiita
BigQuery では COUNT(DISTINCT(X)) ではなく EXACT_COUNT_DISTINCT(X) を使おうBigQuery 以前、COUNT(DISTINCT(X)) の代わりに GROUP BY して COUNT(X) しようという記事を書きました。 BigQuery で COUNT(DISTINCT(X)) を使わない方が良い理由 が、今は時代が変わりました。BigQuery にいつの間にか、EXACT_COUNT_DISTINCT() 関数が追加されたのです！ Returns the exact number of non-NULL, distinct values for the specified field. For better scalability and performance, use COUNT(DISTINCT field). さらに non
実践 Google BigQuery
このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。
83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） - Money Forward Developers Blog
こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQueryクエリの処理の流れ