gcloud-pythonを使って、GCSを経由せずにデータをBigQueryに投入する - Qiita

ちょっとしたデータを、ローカルからGCS経由せずにBigQueryにデータをアップロードしようとするなら、普通はGoogle Cloud SDKのbqコマンドを使うと思います。 ただ、EC2のスポットインスタンスで動かしている日次バッチから自動でアップロードしたいとか考えた時に、Cloud SDKのセットアップ自動化と認証の設定が存外面倒な感じがしておりまして。 pythonのgcloudパッケージを使うと、少なくともセットアップ自動化・認証の設定は楽に行けたので、メモを残しておきます。 Google Cloud Python Client https://github.com/GoogleCloudPlatform/gcloud-python 準備 サービスアカウントの設定 GCPのサービスアカウントを設定して、認証用のjsonを予め取得しておくことが必要。 詳細は「GCP サービスアカ