データ分析のための基盤構築 - Qiita

はじめに データ分析をするにあたって、データ収集、加工、蓄積をするための基盤をGCPを使用して構築しました。 自分がやったことの記録として記事にまとめます。 前提 スクレイピングをされる際は自己責任にてお願い致します。 GCPに課金される可能性があります。 PCはmacを使用しています。 Google Cloud SDKが使用できる必要があります。 まだの方はGoogle Cloud SDKのインストールを実行して、パスを通しておきましょう。 全体像 以下に実装するアーキテクチャの全体像を示します。 上の図に示すような基盤を構築しました。 以下にざっくりとしたデータの流れを示します。 1. Compute EngineからPythonでスクレイピングを実施し、カーセンサーからデータを取得します。 2. 取得したデータをCloud Storageに格納します。 3. Cloud Storag