はじめに 業務でデータ基盤の構築をしています。 今回はCloud Composerを用いて、BigQueryでcsvデータをロードしてみたいと思います。 使用する諸々はこちら TerraformによるComposer環境の構築 Terraformを使用して、クラウドリソースを作成すると管理が楽です。 そのため今回はTerraformを使用して、リソース作成を行います。 サービスアカウントの作成 TerraformでComposerの構築をするために、サービスアカウントからキーを発行しておいてください サービスアカウント キーの作成と管理 Terraformaのインストール 公式サイトからzipを落とせますが、homebrewでインストールすることも出来ます