BigQuery Data Transfer Serviceを使ってAmazon S3のデータをBigQueryに取り込む方法 - G-gen Tech Blog
G-gen の大津です。今回は Google Cloud (旧称 GCP) の BigQuery Data Transfer Service を使って、東京リージョンの Amazon S3 にあるデータを BigQuery に取り込む方法をご紹介します。 はじめに BigQuery Data Transfer Service とは 料金 注意点 Storage Transfer Serviceとの違い 設定手順 AWSでの操作 S3バケットの作成 IAMユーザーの作成 Google Cloudでの操作 BigQueryデータセットとテーブルの作成 転送ジョブの作成 転送ジョブを手動実行 はじめに 前回の記事ではBigQuery Omniを使ってAmazon S3のデータに対してBigQueryからクエリを実行する方法をご紹介しました。 blog.g-gen.co.jp BigQuery O
Amazon S3からGoogle Cloud Storageにアクセスキーを使わずデータコピーする
こんにちは。SCSK石原です。 GCPのData Transferを利用すると、AWSのIAMロールを利用してS3からCloud Storageにデータをコピーすることができるそうです。 アクセスキーは定期的なローテーションが推奨されています。アクセスキーを使わなくていいのは管理面で有効化ですね。 こちらを試してみました。 [AWS]IAMロールの作成 今回は、アクセスキーではありません。IAMロールを利用してGCPからS3にアクセスしますので、こちらを作成します。 データソースとデータシンクへのアクセスの構成 | Cloud Storage Transfer Service のドキュメント | Google Cloud IAMロールとポリシーを作成するテンプレートは下記の通りです。 AWSTemplateFormatVersion: "2010-09-09" Descriptio
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
