BigQuery上のデータ基盤へのE(T)L処理でDigdag+embulkとWorkflows + Dataflowの構成を比較してみた

はじめに BigQuery 上に新しいデータ基盤を構築する際に、外部からデータ連携する E(T)L について、構成を検討したときのメモ 前提 旧連携システムでは GCE 上に構築した API サーバーを CloudSchedular と CloudFunction でトリガーし、embulk を使って転送する構成になっている。これをサーバーレスサービス主体で刷新したい。 GCP 環境に構築する。 trocco や Fivetran などの SaaS は使わない。 将来的にストリーミングにも対応したい。 検討した構成 Cloud Workflows + Dataflow Digdag + embulk on GKE Autopilot ※ Cloud Run は途中でジョブ停止出来ないことや、最大 1h のタイムアウト制限(呼び出し側で待つ必要があるが、PubSub にしろ Schedula