GCP BigQuery Subscriptionを試す - Qiita

概要 この記事はQualiArts Advent Calender 2022の13日目の記事になります。 はじめまして、23卒内定者バイトのやましーです。QualiArtsでは2ヶ月間バックエンドのタスクに取り組んでいました。 今回はゲームの行動ログのパイプラインとして、BigQuery Subscriptionを構築した際にインプットしたことをまとめてみました。初めての技術記事となりますのでお手柔らかにお願いします。 *BigQuery, Cloud Pub/Sub自体の詳しい話は書いてません *Terraformのサンプルコードを載せていますが、IAMやサービスアカウントの構築については今回扱いません 前提 BigQuery SubscriptionとはCloud Pub/SubのSubscriptionの一つで、BigQueryに直接データを投入することができます。 BigQuery

[michael-unltd]

“BigQuery Subscription が出る以前は、 Cloud Pub/Sub から BigQueryへデータを投入するには、 Cloud Dataflow や Cloud Functions などの別サービスを経由する必要がありました。”