federated queryを使ったSpannerからBigQueryへのデータ転送 - Qiita

はじめに こんにちは、この記事はUnipos Advent Calender 2021の16記事目です UniposではデータをDataStoreとSpannerにもち、それらのデータを集計するためにBigQueryにデータを転送しています この記事ではSpannerからBigQueryへのデータ転送について紹介します 公式ドキュメント に詳しいことは書いてありますが、このブログでは具体的な操作、具体的な値について書いていきます 事前準備 BigQuery Connection APIを有効にする Spanner情報の追加 BigQueryのエクスプローラの「3点リード」→「データを追加ボタン」→「外部データソース」の順にクリック 情報を入力する 接続タイプ : Cloud Spanner 接続ID : 英数字、ダッシュ、アンダースコアで構成される文字列 データのロケーション : BQのロ

[sh19910711]

"SpannerのTIMESTAMPではナノ秒までの情報を持っていますが、BQではミリ秒まで / Spannerの情報入力で、「データを同時に読み込む」というチェックボックスがありました + データを並列に読み込んでくれます"