DB->BQデータ転送をミニマムにpythonとGCPコマンドだけで作る - QiitaLivesense Advent Calendar 2022 12/13の記事です。 TL;TR 以下の方法を紹介します sqlalchemyでinspectを使ってテーブル定義を取得して転送時に利用する設定を生成する pandasでデータベースからデータを読みながらparquetを書く gsutil/bqコマンドでBQへロードし、SQLでテーブルコメントを付与する はじめに 分析などの用途でBigQueryを用いるとき、各種サービスのデータベース上のデータをBQにロードする、という状況が生まれます。このためのツールやサービスとして、AirbyteやCloud Data Fusion、trocco、embulkなどがありますが、まずはスモールにpythonと各種コマンドを使って作るとどうなるのか、というのを考えて試してみました。 データは、1日に1回程度、毎回全件削除して投入し直す（洗い替
