BigQuery Data Transfer Serviceを使ってAmazon S3のデータをBigQueryに取り込む方法 - G-gen Tech Blog
G-gen の大津です。今回は Google Cloud (旧称 GCP) の BigQuery Data Transfer Service を使って、東京リージョンの Amazon S3 にあるデータを BigQuery に取り込む方法をご紹介します。 はじめに BigQuery Data Transfer Service とは 料金 注意点 Storage Transfer Serviceとの違い 設定手順 AWSでの操作 S3バケットの作成 IAMユーザーの作成 Google Cloudでの操作 BigQueryデータセットとテーブルの作成 転送ジョブの作成 転送ジョブを手動実行 はじめに 前回の記事ではBigQuery Omniを使ってAmazon S3のデータに対してBigQueryからクエリを実行する方法をご紹介しました。 blog.g-gen.co.jp BigQuery O
[アップデート] AWS Transfer Family の認証要素にソース IP が利用できるようになったので、ソース IP に応じた IAM ロールの切り替えをやってみた | DevelopersIO
[アップデート] AWS Transfer Family の認証要素にソース IP が利用できるようになったので、ソース IP に応じた IAM ロールの切り替えをやってみた 先日のアップデートで AWS Transfer Family のカスタム ID プロバイダー利用時に認証要素としてソース IP が利用できるようになりました。 AWS Transfer Family enables Source IP as a factor for authorization 何がうれしいのか？ セキュリティグループでえぇんちゃうの？ このアップデートを最初に見たときの感想です。 AWS Transfer for SFTP がリリースされた当初はソース IP による制限が欲しい！という声をたくさん聞きましたが VPC エンドポイントに対応、EIP に対応などのアップデートにより送信元の制限はすでに実
![[アップデート] AWS Transfer Family の認証要素にソース IP が利用できるようになったので、ソース IP に応じた IAM ロールの切り替えをやってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c7dcc36016be4bf890d3968457c3d963d1e8cd5e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F06%2Faws-transfer-family.png)
Amazon S3からGoogle Cloud Storageにアクセスキーを使わずデータコピーする
こんにちは。SCSK石原です。 GCPのData Transferを利用すると、AWSのIAMロールを利用してS3からCloud Storageにデータをコピーすることができるそうです。 アクセスキーは定期的なローテーションが推奨されています。アクセスキーを使わなくていいのは管理面で有効化ですね。 こちらを試してみました。 [AWS]IAMロールの作成 今回は、アクセスキーではありません。IAMロールを利用してGCPからS3にアクセスしますので、こちらを作成します。 データソースとデータシンクへのアクセスの構成 | Cloud Storage Transfer Service のドキュメント | Google Cloud IAMロールとポリシーを作成するテンプレートは下記の通りです。 AWSTemplateFormatVersion: "2010-09-09" Descriptio
S3からGCSへ簡単にファイル移行する方法
Lv：41 Exp：302264 普段はGCP専門のエンジニアをやっています。 最近は個人的な活動としてGOとswiftでアプリ作ってます。 G+ はじめに クラウドという言葉が当たり前になってきている現在、ファイルサーバは自前で持つ時代から、サービスとして利用する時代へと変わってきていると思います。 おそらく、自前のファイルサーバからGoogle Cloud Storage(以下GCS)やAmazon Simple Storage Sewrvice(以下S3)等のストレージサービスに乗り換えた企業も少なくはないのではないでしょうか。 ただ、今後は価格やパフォーマンスの競争によって、クラウドからクラウドへの移行も増えてくると思われます。というわけで、今回のapps-gcpでは「ストレージの移行」について取り上げます。 ずばり、S3からGCSへのストレージ間データ移行です。GoogleはS3
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
