タグ

関連タグで絞り込む (0)

  • 関連タグはありません

タグの絞り込みを解除

BigQueryとdiffに関するswfzのブックマーク (1)

  • BigQuery にデータを差分ロード(UPSERT)する方法まとめ | DevelopersIO

    こんにちは、みかみです。 やりたいこと GCS に配置してあるファイルデータを、BigQuery に差分ロードしたい 重複チェックキーを指定して、キー重複レコードは後からロードするデータで上書きしたい ロード処理でエラーが発生した場合には、ロード前の状態にロールバックしたい(ロード前の状態を担保したい) 前提 GCS へのアクセスおよび BigQuery へのデータロードには、Python クライアントライブラリを使用します。 Python クライアントライブラリ実行環境およびクライアントライブラリで使用するサービスアカウントは準備済みです。 今回は、環境準備不要ですぐにクライアントライブラリが使える CLOUD SHELL を使用しました。 Cloud Shell の使用 | Cloud Shell ドキュメント データを準備 以下のテストデータ生成ツールで確認用のデータを作成し、Big

    BigQuery にデータを差分ロード(UPSERT)する方法まとめ | DevelopersIO
  • 1