はじめに Dataflow Templateとは 前準備 関連リソースのセットアップ Service Account の設定 設定ファイル等の作成 Protoファイルの用意 Jsonの設定ファイルの作成 実行 まとめ はじめに Cloud Dataflow に興味があったため、休日を使って少し遊んでみました。 この記事では、0の状態から、Mercari社が提供している Dataflow Template を使って、BigQueryからPubSub Topicへとデータを転送することをゴールとしています。 具体的には次のようなことを行います。 Mercari Dataflow Templateを利用し、BigQueryからPubSub Topicへとデータを転送する PubSub TopicへはProtobufの形式で送信する Dataflow Job用のService Accountを作成