Amazon S3 に接続する | BigQuery | Google Cloudデジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。
Dataformを使ってみる（BigQuery） - Qiita
Google Cloudが買収し話題になったDataformを使ってみる。 https://cloud.google.com/blog/ja/products/data-analytics/welcoming-dataform-to-bigquery BigQueryにデータ持ってきてる前提で、BigQuery内部のテーブル、データ項目、クエリの依存関係等を管理できるようだ。 ファイルの記述は基本的にSQLXという形式で記述する（JSONとSQLを混ぜたような感じ） 前提 すでにGCPプロジェクトはある。 始めてみる 事前準備 Dataform用にBigQuery Adminロールのサービスアカウントを作り、JSONキーを発行する。 方法は割愛。 Dataformのアカウントを作る dataformにアクセスして、START NOWをクリック。グーグルアカウントで始められる。 Datafo
Dataform を導入してみた話 | 株式会社CAM
｜目次 1. はじめに 2. 要約 3. Dataform とは 4. 背景 5. 前提 6. 機能面の細かい話 6.1 git リポジトリ連携とアクセストークン 6.2 複数環境と production ブランチ 6.3 config.type = "incremental" な SQLX クエリの考え方と backfill 6.4 BigQuery のパーティションがプルーニングされないケースと解決策 6.5 スケジューラの実行が不安定 7. さいごに：実際に運用してみて ｜はじめに こちらは CAM advent calendar 2021の15日目の記事です。 こんにちは。CAM の DataManagement チームに所属してます DN といいます。 弊社で展開しているサービス fensi (platform) と連携して運用しているデータ基盤に対して、半年ほど前から Data
Introduction to BigQuery Omni | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Introduction to BigQuery Omni With BigQuery Omni, you can run BigQuery analytics on data stored in Amazon Simple Storage Service (Amazon S3) or Azure Blob Storage using BigLake tables. Many organizations store data in multiple public clouds. Often, this data ends up being siloed, because it's hard
S3からBigQueryへ連携する方法いろいろ（Omni/Transfer Service） | DevelopersIO
データアナリティクス事業本部、池田です。花粉症です。 Google CloudのBigQuery Omniを使ってみたかったので、他の連携方法と比較してみました。 切りが無さそうだったので、ソースはS3に限定し、 Google Cloudのサービスや機能でできる（作り込みが要らない）方法として3つを試しました。 また、AWS側は再利用できるように CloudFormation でテンプレートにしました。 先にまとめ 各ガイドや触ってみた結果を基に、 個人的に選定時のポイントになりそうと思ったところをまとめてみました。 ※制約や挙動などは執筆時点（2022/04/14）のものです。 定額料金のみ リージョンが限られている インタラクティブ クエリの結果の最大サイズは2MB 標準テーブルを作成できない（→CTASやINSERT…SELECT…などでS3のデータをBigQueryへ持ち出せなかっ
BigQueryのパーティションとクラスタリングについての解説 - G-gen Tech Blog
G-genの杉村です。Google Cloud (旧称 GCP) の誇るデータウェアハウスサービスである BigQuery には、パフォーマンスの向上に当たり パーティション と クラスタリング という重要な概念があります。 それぞれの仕組みや使い分けを解説していきます。 パーティション パーティションとは パーティションフィルタ要件 (Partition filter requirements) メリット パーティションの分割基準 時間の列 取り込み時間 整数範囲の列 パーティションの管理 クラスタリング クラスタリングとは クラスタ化に指定する列 自動再クラスタリング パーティション VS クラスタリング パーティションとクラスタリングの違い パーティションとクラスタリングの使い分け パーティション・クラスターのレコメンデーション その他 注意点 参考情報 パーティション パーティショ
Cloud DLP を使って BigQuery の個人情報を検出してみた。 | DevelopersIO
こんにちは、みかみです。 やりたいこと Cloud Data Loss Prevention（DLP）とはどんなものか、実際に触って確認してみたい BigQuery に格納済みの個人情報を Cloud DLP で検出してみたい DLP（Data Loss Prevention）とは？ DLP（Data Loss Prevention）とは、セキュリティを強化するためのシステムの一つであり、機密情報や重要データの紛失、外部への漏えいを防ぐシステムのことを指します。 抜粋：DLPとは？従来の情報漏洩対策との違いから、機能、活用事例まで紹介 ｜ IT トレンド 近年特に重要視される個人情報などの機密情報を保護するための仕組みです。 Google Cloud の DLP（Data Loss Prevention）サービスである Cloud DLP では、 GCS や BigQuery、Datast
[新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました！ | DevelopersIO
はじめに 先日、AWS Summit San Francisco 2022にて、Amazon AthenaのFederated Queryを経由してデータにアクセスできる10種類のデータソースコネクタをサポートが新たに追加されました。ザックリ言うと、Athenaから以下のデータソースにアクセスできるようになったということです！ 本日は、中でも注目度の高いBigQueryへのクエリについて試してみます。 SAP HANA (Express Edition) Teradata Cloudera Hortonworks Snowflake Microsoft SQL Server Oracle Azure Data Lake Storage (ADLS) Gen2 Azure Synapse Google BigQuery Amazon Athenaのデータソースコネクタが動作するVPC/Sub
![[新機能] Amazon Athena データソースコネクタを使ってBigQueryのライブデータにクエリしてみました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e74dfc28e3f87861a3abf7b0257ff46d1c1a0f04/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-athena.png)
BigQuery・Glue・S3・QuickSightの連携 - Qiita
今回は、FirebaseAnalyticsからBigQueryにエクスポートしたデータをQuickSight上で、表形式で閲覧したいという要件を実現するための過程を記事にしました。 以前書いたこの記事の続きみたいな感じです。 なぜ、BigQueryのデータをわざわざQuickSightで見ようとするかというと、BigQuery上のデータとRDSのDBデータをガッチャンこして見たいという要件があり、少し回りくどく見えるような構成になっています。 要件を実現するための構成はこれ以外にも案はあると思いますが、考えた結果、これが最適と考えた末なので、何かいい案をお持ちの方がいれば優しく教えて欲しいです。（ここには出てこない隠れた要件も色々あるので最適な構成を考えるのはかなり難しかったです。） BigQuery・Glue・S3の連携について それぞれのツールについての概要の公式記事は以下です。 Bi
Google Cloud StorageとAmazon S3を経由したBigQueryからQuickSightへのインポート - Leverages データ戦略ブログ
はじめに データ戦略室データエンジニアリンググループの江口です。 Google BigQueryに蓄積しているデータをAmazon QuickSightで利用しようとする場合、クラウドベンダーを跨いだデータ連携が必要となります。Amazon Web Services ブログではこのようなユースケースに、AWS Glueカスタムコネクタを用いたデータ連携が紹介されています。一方で、Google BigQueryから変換や加工が伴わずにデータを出力する場合は、Google Cloud Storageを経由したよりシンプルな実装をすることができます。 この記事ではGoogle BigQueryのデータを、Google Cloud StorageとAmazon S3を経由してQuickSightへインポートする方法を、Pythonのサンプルコードを交えてご紹介します。 処理の概要 Google B
GA4+BigQuery ハンドブック / ga4_bigquery
Transcript GA4+BigQuery ハンドブック Ver 1.0.0α しんゆう @data_analyst_ 本資料について • GA4＋BigQueryはまだオフィシャルサイトにも情報が少 なく手探り状態 • そこでいろいろな情報を１つにまとめておくことは有用だ と考えた • まだまだ取り組み始めたばかりなので間違いや効率の悪い 方法を見つけたら教えていただけると幸いです 本資料について About 本資料について • 2021/10/13 α版公開 更新履歴 About 名前：しんゆう @data_analyst_ ブログ：データ分析とインテリジェンス https://analytics-and-intelligence.net 最近の活動：データを使いやすくする人 （データアーキテクトまたはデータ整備人） スライドが表示されているページの下段にある説明欄からも リンクが
BigQueryで特定のデータセットだけ共有する方法 - Qiita
BigQueryで特定のデータセットのみ共有したかったが、IAMユーザーの追加と、データセットの権限の両方を適切に設定しなければならず、分かりずらかったのでメモ。 実現したかったこと BigQueryの特定のデータセットをクエリが発行できる状態で外部の人と共有したい 同じプロジェクトにある他のデータセットは見えないようにしたい IAMユーザーの追加 Google Cloud のコンソール画面の「IAMと管理」→「IAM」から、データを共有したいユーザーを「BigQuery ジョブユーザー」として追加します。 データセットの共有 BigQuery の ウェブ UI で、共有したいデータセットを開いて、下記の赤枠で囲ったアイコンをクリックします。 追加したいユーザーを「BigQuery 閲覧者」として追加します。 参考情報 BigQuery / アクセス制御 Cloud Identity an
BigQueryのデータのアクセス権限・セキュリティを考える｜グルーヴノーツ - MAGELLAN BLOCKS
アクセス権の設定 以下の単位できめ細やかにアクセス権を設定することができます。 データセット テーブル 列 行（AuthorizedView） 制御しながらデータを見せる アクセス権とは違い、クエリの結果しか見せない、暗号化してしまうということもできます。 AuthorizedView 暗号化関数 監査ログ 誰がいつ、どこで、何をしたかの監査ログを取ることができます。 Cloud Logging（今回はこちらに関して触れませんが、とても大事なことです） データのアクセス権とジョブ（クエリ）の設定について アクセス権の設定の前に、この件を先に触れます。 BigQueryでは、データにアクセスする権限と、ジョブ（クエリ）を発行する権限が明確に分かれています。前者はBigQueryでデータセットやテーブルに対して付与します。後者はIAMでプロジェクトに対して付与します。 最初のうちは、この点を理
Data Studio と BigQuery を使った BI ダッシュボードの作り方 | Google Cloud 公式ブログ
このシンプルなソリューションを使えば、GCP 上に BI ダッシュボードを簡単に作れます。 ビジネス インテリジェンス（BI）が登場したときから、可視化ツールは、データからすばやく知見を獲得したいアナリストや意思決定権者のために重要な役割を果たしてきました。 ビッグデータ アナリティクスの時代になった今も、その前提は変わりません。Google Cloud Platform（GCP）は、ビッグデータの上に BI ダッシュボードを構築するための統合プラットフォームとして、ペタバイト規模のデータを高速に分析できるクラウド ネイティブなデータ ウェアハウス Google BigQuery と、美しいレポートをすばやく作れる無料の Google Data Studio を提供しています（Google のパートナー企業である Looker や Tableau、Zoomdata なども BigQuery
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon S3 転送 | BigQuery | Google Cloud
Migrate schema and data from Amazon Redshift | BigQuery | Google Cloud
Error in GCP BigQuery Data Transfer Service: No suitable driver found for jdbc:redshift://
テーブル アクセス ポリシーの概要 | BigQuery | Google Cloud
Control access to resources with IAM | BigQuery | Google Cloud
Looker | Google Cloud