SlackのデータをBigQueryで蓄積する仕組みをゼロから作る

背景 元々、Slack上の投稿データやその他メタデータをBigQuery上で管理していた 2/25 からSlackAPIの旧仕様が使えなくなったが、その対応がされておらず、しかもエラー通知もログ出力もしておらず、気づいた時（3/10）には時すでにおすし。 元々、スパゲッティコードかつメンテナンス性や可用性に優れないパイプラインの仕組みだったため、リプレイスしたいなとは思っていた そこで、これを機にゼロから作り直してみようと思う 作りたいもの ETL for Lake E：SlackからAPI経由で各種情報取得 T：（極力そのまま保持したいので、なし） L：Cloud StorageにJSONファイルを保存 ELT for Warehouse E：Cloud Storage Bucketから必要なJSONだけを抽出して、 L：Cloud StorageのJSONをBigQueryに取り込む