【データ基盤構築/Snowflake/AWS】自分で１から簡単なデータ基盤・データパイプラインを作ってみる - Qiita

今回の課題 今後、業務でAWSとSnowflakeでデータ基盤を構築・運用していくことになるので、 勉強のために、自分で１からデータ基盤・データパイプラインの作成に挑戦してみた。 後から見返しやすいように、どのように作成したのかまとめてみる。 どのようにデータ基盤を作ったのか 以下のアーキテクチャ図のように作ってみた。 データ基盤作成手順 どのようにデータ基盤を作成したのか、手順に沿ってまとめてみた。 手順毎の詳細は、以前に別の記事で書いているので、そちらの記事も手順毎に記載した。 1)EC2上でRDSを動かす&RDSにデータを入れる 下記の記事を参考にしながら、以下を実装。 VPCを構築し、その中にEC2とRDSを立てる。 今回は、ターミナルからAWSにSSH接続して、create tableやinsertなどを実行してRDSにデータを入れるようにした。 ※注意:Snowflakeのリー