BigQuery の主キーと外部キーで結合を最適化 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 7 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。 BigQuery は、完全にサーバーレスで費用対効果に優れたエンタープライズ データ ウェアハウスです。各種のクラウドで機能し、データに合わせたスケーリングも可能です。ユーザーデータは BigQuery テーブルに保存されます。すべてのテーブルは、列名、データ型、その他の情報を記述するスキーマによって定義されます。 このたび BigQuery に、強制適用されない主キー制約と外部キー制約が導入されました。この投稿では、強制適用されないキー制約と、それが BigQuery のクエリにどのようにメリットをもたらすのかについて詳細に説明します。 制約の定義CREATE TABLE ステートメントを使用してテーブルを作成する際に、テーブルに制約を定義できます。ALTER TAB
Google、iPaaS「Application Integration」正式リリース。Salesforceやkintone、BigQuery、MySQLなど多数のサービスをGUIで接続
Google、iPaaS「Application Integration」正式リリース。Salesforceやkintone、BigQuery、MySQLなど多数のサービスをGUIで接続 Google Cloudは新サービス「Applicatoin Integration」の正式リリースを発表しました。 Application Integrationは、さまざまなサービスを統合する、いわゆる「iPaas」（Integration PaaS）と呼ばれるサービスです。 Announcing the general availability of Application Integration—part of our Integration Services portfolio to help you connect your apps visually, with no code Get st
［速報］BigQueryが非構造化データのサポートを発表。これで構造化データ（RDB）、半構造化データ（JSON）、非構造化データをサポート。Google Cloud Next '22
Google Cloudは、開催中のイベント「Google Cloud Next '22」において、大規模データ分析サービスのBigQueryで非構造化データのサポートを発表しました。 BigQueryは今年1月にJSON型データへのネイティブ対応をパブリックプレビューとして公開しています。 参考：BigQueryがJSONにネイティブ対応。SQLでJSONに対するクエリが可能に これでBigQueryは今回の非構造化データのサポートにより、RDBのテーブルに格納された構造化データと、JSONなどによる半構造化データそして非構造化データの3つをすべてサポートする柔軟な大規模データ分析基盤になるわけです。 Google Cloud Storageバケットのテーブル形表現 BigQueryの非構造化データサポートはObjectテーブルによって実現され、画像や動画、音声、テキストなどのデータが扱
BigQuery MLにAutoML Tables、XGBoost、DNN、ARIMAが来たのでおさらい - Qiita
BigQuery MLにAutoML Tables、XGBoost、DNN、ARIMAが来たのでおさらいBigQueryDNNxgboostAutoMLBigqueryML はじめに 日本時間2020-06-17のリリースで、BigQuery MLにAutoML Tables、XGBoost、DNNが来ました。release-notes#June_16_2020 おさらいに、BigQuery MLで何ができるか再整理します。 追記: 日本時間2020-07-02のリリースで、BigQuery MLにARIMAも来ましたね。日本時間2020-06-28のリリースノートでエラーになってたのですが、リリース日がしれっと修正されてました。release-notes#July_01_2020 BigQuery MLでできること概要 BigQueryでStandard SQLを使って、機械学習モデルを
Introduction to Amazon S3 transfers | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Introduction to Amazon S3 transfers The BigQuery Data Transfer Service for Amazon S3 lets you automatically schedule and manage recurring load jobs from Amazon S3 into BigQuery. Supported file formats The BigQuery Data Transfer Service supports loading data from Amazon S3 in one of the following fo
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
BigQuery におけるコスト最適化の ベスト プラクティス | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 9 月 25 日に Cloud Blog に 投稿されたものの抄訳です。 あらゆる業務のデータが各所に分散する今日の状況において、データ ウェアハウスの運営、管理は厄介で手間のかかる作業となりがちです。こうしたデータの急激な増加に対応してシステムをスケーリングし、日々の運用を維持することは、これまでになく大きな課題となっています。課題はそれだけではありません。データ ウェアハウスをアップグレードするときにダウンタイムをできるだけ短くする、ML や AI に向けた取り組みを支えてビジネスニーズに応えるなどの必要にも迫られています。Google Cloud のサーバーレス、エンタープライズ向けデータ ウェアハウスである BigQuery は、インフラ管理に手間を取られず分析作業に集中できるという点が評価され、数々の企業に導入されています。 BigQuery
BigQuery MLエンジンとTableauで実現する中古マンション取引額予測シミュレーションの実際 | 株式会社プリンシプル
BigQuery MLによる予測の全体像 機械学習を学ぶにあたり、その全体像が提示されていないことが妨げになっている気がしています。筆者も勉強中の身ではありますが、自分自身の学びの整理のためにも本記事を執筆しています。 本ブログ記事は、過度に詳細に踏み込まない代わりに、その全体像を提示することで、私と同様の学習者である多くのユーザーがBigQueryのMLエンジンを利用できるようになる（少なくともやってみようと思える）ことを目的としています。 全体像は以下の7ステップで説明できます。そのうち、純粋に機械学習周りの技術を使っているのは、3、4、5、6のステップであり、1、2は準備、7は検算です。 データの取得と整形 整形の完了したデータのアップロード モデルの作成 モデルの評価 特徴量の調整やモデルのオプションの調整 予測値の取り出し 検算 ① データの取得と整形 機械学習にはある程度まとま
BigQuery の大規模データセットを Google スプレッドシートで分析 | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 1 月 16 日に Google Cloud blog に投稿されたものの抄訳です。 企業が TB（テラバイト）クラスの複雑なデータを収集する際は、それらを保存し、その情報の意味を的確に理解するツールが必要になります。そのため私たちは、大規模データセットを扱うデータ アナリストを支援する BigQuery を開発しました。とはいえ、誰もがデータの専門家というわけではありません。私たちの場合も、多くはスプレッドシートを使ってアドホック分析を行っています。 データ アナリティクス業務の担当ではない従業員でも販売データの分析といったクエリを簡単に実行できるよう、私たちは BigQuery と Google スプレッドシートのパワーを組み合わせることにしました。それを可能にするのが BigQuery 向けのデータ コネクタであり、G Suite Business
Googleアナリティクスの計測ログをBigQueryに送る（無料版対応） – marketechlabo
Googleアナリティクスで収集しているデータ（メジャメントプロトコル）をBigQueryに送り、集計・可視化できるようにする。無料版のGAにも対応し、しかもサーバレスでシンプルに実装できる。 本来BigQueryを使ったウェブ行動の詳細分析はGA360を使うべきなのだが、限りなく低コストでこんなことができるという参考程度で紹介する。 通常無料版のGoogleアナリティクスではできないログベースの行動分析をするのに使ったり、有料版であったとしてもGAはどのようなトラフィックを除外して集計しているのか、Googlebotなどのクローラがどんな動きをしているのかなどを検証するのに使うといいかもしれない。 原理はGoogleアナリティクスのJavaScriptがGoogleの計測サーバに送っているパケットを自前のサーバに送ってログ化するというシンプルなものである。 従来はデータ収集用のサーバを構
BigQueryの新機能を使ってクエリ料金を1/1000にする - Kaizen Platform 開発者ブログ
こんにちは、エンジニアの大迫です。 Kaizen Platformでは、以前からGoogle BigQueryを利用して、ウェブサイトの行動ログや広告の配信レポートなど様々なデータを保存・活用できるような仕組みを整え、お客様のウェブサイトや広告クリエイティブの改善に取り組んできました。特にここ最近では、非エンジニア向けにBigQueryやSQLの社内勉強会が行われたり、 @ikedayu によりProduction以外のメンバーでも気軽にデータ分析ができる仕組みが作られたりして全社的にBigQueryの利用が広がっています。 その一方で、データを活用できる人が増えた結果として、BigQueryのクエリ料金も増えていく傾向になっています。 せっかくエンジニア以外でも分析できる仕組みがあるのに、クエリコストが気になってクエリ書くのが怖くなってしまってはもったいないので、こちらの記事にあるように
DigdagとEmbulkを利用してBigQueryにRDS（Aurora、MySQL）のマスタデータを同期する - ZOZO TECH BLOG
こんにちは、バックエンドエンジニアの塩崎です。 先日、会社の広報のためのインターン生紹介記事にメンターとして掲載していただきました。 大学四年生のインターン生と一緒に写真撮影を行ったのですが、見た目だけではどちらが年上かわからなかったので、「メンターの塩崎（右）」という表記をされてしまいました（笑） インターンでも実際のサービスに触れ、課題を解決！〜VASILY DEVELOPERS BLOGが公開されました〜 さて、VASILYではData WarehouseとしてGoogle BigQuery（BigQuery）を利用しています。 BigQuery内にはプロダクトのマスタデータとユーザーの行動ログが格納されています。 そして、それらに対する横断的なクエリを発行することでプロダクトの成長のためのKPIをモニタリングしています。 そのためAmazon Relational Database
BigQueryのコスト可視化ダッシュボードをGoogle Apps Script/Google Sheets/Google Sitesを使ってお手軽に作る - Kaizen Platform 開発者ブログ
4月からKaizen Platformにジョインしたアプリケーションエンジニアのikedayu@つくばです。業務ではデータ解析や解析基盤構築を主に行っています。 Kaizen Platformでは、許可を求めるな、謝罪せよの文化が深く浸透していて、エンジニア一人ひとりの裁量が大きいのが特徴です。自分は、その裁量でしばしば自由研究的に身近な問題に挑戦していて、今回は、その1つについて紹介させてもらいます。 TL;DR ↓のようなBigQueryコストを可視化するダッシュボードを作ります 「日付ごとのコストの推移」と「IAMユーザーごとのコスト」を可視化することでコスト削減の方策が立てやすくなります G Suiteだけで完結するので、(G Suiteを使っている企業であれば) すぐに導入可能です 課題: BigQueryのコストはざっくりとしかわからない Kaizen Platformでは他の
BigQuery に関する１２の誤解の真相を明らかにする
この記事は Busting 12 myths about BigQuery の著者の許可を得た上で @yutah_3 が日本語訳、補足したものです。個人的に気になった話等を含めて “訳者注” を入れながら翻訳します。 割と最近、 Forrester Research のレポート The Forrester Wave™: Insight Platforms-As-A-Service, Q3 2017 では Google Cloud は Leader のポジションとして位置付けられました。 BigQuery がこの中で果たした功績は間違いなく大きいでしょう。 私達は日々、スタートアップから大企業のお客様に至るまで、多様な Google BigQuery をお使いのお客様と、お客様の分析やデータウェアハウスに関する課題を解決するために一緒に取り組んでいます。多くの場合、私達のお客様は BigQu
クラウドストレージならではの利点を活用――「BigQuery」で高性能かつ安価なデータ分析基盤を実現しよう！【デブサミ2018】
かつては高価だったデータウェアハウスは、クラウドの普及によって今や高性能かつ安価に利用できるインフラになりつつある。そうした中で注目を浴びているのが、Google Cloud Platformが提供している、サーバーレスのエンタープライズ・データウェアハウス「BigQuery」だ。そのバックエンドでは数百～数千台のサーバーがクエリを分散実行し、1クエリに対して約1000～2000コアが使用されている。そうした高性能にもかかわらず料金は一般のオンラインストレージ並みで、「とにかく速くて安い」高コストパフォーマンスぶりが人気を博している。だが一方で「とりあえずBigQueryに突っ込んでおいた」のはいいが、肝心の膨大なデータ資産の使い方に悩む企業も増えている。株式会社grasysの樋口健二氏は、そうした「BigQueryに集めたデータ活用の実践的ヒント」について紹介した。 株式会社grasys
KPI に関わる数値の集計処理を Cloud Dataflow に置き換えている話 | メルカリエンジニアリング
メルカリのバックエンドを支える SRE(Site Reliability Engineering) チームに最近加わりました @syu_cream です。 本記事では KPI に関わる数値を計算してレポートを生成する集計システムの刷新に取り組んでいる話を紹介します。 現在は刷新の途中であり、集計項目ベースでいうと 1/3 ほどの実装が済み、現行システムと刷新後のシステムの一部を並行稼動させている状態です。 背景 メルカリではアプリケーションのログファイルやデータベースから、 DAU(Daily Active Users) などの KPI に関する様々な数値を集計するためのシステムを稼働させています。 この集計システムは毎日 Slack やメールにて KPI のサマリーレポートを送信し、全社員が数値を閲覧し、日々プロダクトの傾向を意識することを可能にしています。 集計システムの動作イメージは
BigQuery Standard SQL で UDF を使って UserAgent を判別する - Qiita
BigQuery User Defined Functionとwoothee.jsでユーザエージェント判別する - Qiita こちらの記事が Legacy SQL での方法を解説していました。諸事情で Standard SQL でやったのでその時の方法を書いておきます。 （準備）Google Cloud Storage に woothee.js をアップロードする https://console.cloud.google.com/storage/browser woothee.js は大きい & ある程度繰り返し使えるように Google Cloud Storage にアップロードします。ここでは仮にこのファイルを gs://example/woothee.js にアップロードしたとします。 UDF を定義する CREATE TEMPORARY FUNCTION uaCategory(u
BigQuery User Defined Functionとwoothee.jsでユーザエージェント判別する - Qiita
問題設定 「蓄積してあるアクセスログをとりあえずBigQueryにアップする」使い方、よくあるパターンかと思います(ひとまず集計できるようにしたい、的な)。その際、扱いに困るのがユーザエージェントの処理です。この記事を書いているブラウザでは、以下のような文字列になります。 Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.73 Safari/537.36 アクセスしている状況は、 Windows 10 Google Chrome です。例えば、OS別/ブラウザ別アクセス状況とかを集計したくなります。 SQLでとりあえず動くようにすると、例えば http://www.slideshare.net/yukawabe18/kaizen-platform-bigq
Embulkを利用したデータ転送基盤の構築 - ZOZO TECH BLOG
こんにちは。バックエンドエンジニアインターンの田島です。 VASILYでは分析にBigQueryを使用しており、MySQLのデータを毎日BigQueryに同期しています。この同期処理を行うシステムは、約2年前にRubyで書かれたもので、プロダクトの成長に伴うデータ量の増加に耐えることができなくなり始めていました。そのため、同期処理を行うシステムを一から作り直しましたので、その詳細についてご紹介します。 弊社DEVELOPERS BLOGでは以前、『インターン生がデータ転送基盤を一から設計する、VASILYバックエンドインターンの紹介』としてシステムの概要・開発の流れをご紹介しましたが、今回はシステムの詳細についてご紹介します。 （photoクレジット *1） データ同期ツールの紹介 新たなデータ同期システムとして、次のように利用する社内ツールを作成しました。 以下のような環境変数を設定し、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck
