BigQueryのデータ転送の結果を知りたい | DevelopersIO
アマゾンのS3に溜めたデータをBigQueryで利用できるようにデータ転送を使っています。 ちゃんとデータが転送されたかどうかを知りたいという要望が出てきた時のため、データ転送サービスに用意されている通知オプションで通知を受け取る方法を試していきたいと思います。 参考: BigQuery Data Transfer Service の実行通知 データ転送にはメール通知とPub/Sub通知の2つが用意されており、どちらも有効にできます。 メール通知: 転送実行の失敗時に送信される、人が読んで理解できる通知 Pub/Sub通知: 転送実行の正常完了時または失敗時に送信される、機械で読み取り可能な通知 とドキュメントに定義されています。 メール通知は失敗時だけなので、Pub/Sub通知を使って人間が理解できる内容にして通知する方法を考えます。 ※ Pub/Subとは やってみる 前提 Pub/S
S3からBigQueryへ連携する方法いろいろ（Omni/Transfer Service） | DevelopersIO
データアナリティクス事業本部、池田です。花粉症です。 Google CloudのBigQuery Omniを使ってみたかったので、他の連携方法と比較してみました。 切りが無さそうだったので、ソースはS3に限定し、 Google Cloudのサービスや機能でできる（作り込みが要らない）方法として3つを試しました。 また、AWS側は再利用できるように CloudFormation でテンプレートにしました。 先にまとめ 各ガイドや触ってみた結果を基に、 個人的に選定時のポイントになりそうと思ったところをまとめてみました。 ※制約や挙動などは執筆時点（2022/04/14）のものです。 定額料金のみ リージョンが限られている インタラクティブ クエリの結果の最大サイズは2MB 標準テーブルを作成できない（→CTASやINSERT…SELECT…などでS3のデータをBigQueryへ持ち出せなかっ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
