Analytics Hub で加速するデータシェアリング
本記事は Google Cloud Japan Advent Calendar 2022 の 通常版 22 日目の記事です。 皆様、いかがお過ごしでしょうか？ Google Cloud パートナーエンジニアの山中です。 本記事では Google Cloud Next'22 で一般利用（GA）としてアナウンスされました Analytics Hub を用いたデータ共有方法についてご紹介します。 Analytics Hub とは Analytics Hub は組織間でデータを効率よく安全に共有可能とする BigQuery を基盤としたデータシェアリング サービスです。データを共有することに主眼をおいたサービスとなっており、例えばグループ会社間でのデータ共有やオープンデータの公開などのユースケースに適用できます。 Analytics Hubの 仕組み Analytics Hub の仕組みは非常にシ
Analytics Hub とは何者か - Google Cloud - Qiita
BigQuery Advent Calendar 2022 7日目の記事は Analytics Hub の紹介です。 Analytics Hub の活用事例が少ないことを憂い、今後の発展に期待したテーマ選定です。 筆者は 2022 年 8 月から Analytics Hub でデータセットを公開しています。 Analytics Hub とは何か Analytics Hub は、各種 BigQuery オブジェクト（テーブル、ビュー、ML モデル）を、組織間で共有できるサービスです。このサービスのリリースによって、どんな課題が解決されたか、どんなユースケースで使えるかを見ていきます。 Analytics Hub リリース以前の課題 Analytics Hub リリース以前、BigQuery オブジェクトの共有は IAM を用いてアクセス権限を配ることによって実現されていました。これには以下の
Amazon RDSからGCP BigQueryへのデータ転送をDataTrasferServiceを使って実現した話 - Qiita
要件 AWSでインフラ構築し運用しているプリケーションのデータを定期的にBigQueryに転送して、BigQuery上でデータ分析をやりたいというニーズがあり、RDSに保存しているデータを転送する機構を構築した。 AWSを利用してるなら、その中でデータ分析もやったらいいじゃないかという意見もあると思うが、ビッグデータの蓄積や解析はBigQueryで実施した方がやりやすいということもあるようで、BigQueryへ転送するニーズが最近は結構ある模様。 今回はGCPが提供しているBigQeryへのデータ転送サービスDataTransferServiceを使って行う 構成図 作成するアプリケーション概要 RDSのデータを定期的にBigQueryへ転送することを実現するアプリケーション RDSの自動で取っているスナップショットデータをS3へ一日一回エクスポート(JST 0:00に実行) https:
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
