【データ可視化/Streamlit】Streamlitで作ったアプリからSnowflakeのテーブルを自由に更新する方法 - Qiita
前置き こんにちは。データエンジニアの山口です！ Streamlitでデータ可視化アプリを作成しており、 Streamlitアプリ上に手入力した値とSnowflake内の値を結合してデータを可視化したいなと思ったので、やり方を考えてみました。 結論 Streamlitアプリ上に手入力した値をSnowflakeのテーブルにデータを挿入・更新して、 すでにSnowflakeに入っているデータと結合すればいいのではないかと言う考えに至りました。 Streamlitのform_submit_button関数が使えそうだったので、そちらを使っていきます！ 機能を実装する 早速機能を実装していきます！ 前準備 まずはStreamlitから更新をするテーブルを用意しておきます。 今回は従業員マスターというテーブルを以下のクエリで作成して、 このテーブルの中にINSERT文などで、いくつか適当にデータを入
【データ基盤構築/AWS Lambda】Pythonを使ってSnowflakeのデータをRDSにinsertする - Qiita
import sys import json import boto3 import ast import os import snowflake.connector import pymysql from snowflake.connector import DictCursor from sqlalchemy import create_engine from sqlalchemy.sql import text from datetime import datetime def lambda_handler(event, context): # 今日の日付とSQLを実行する日時を変数で用意 today = datetime.now() updated_at_str = datetime.strftime(today, '%Y-%m-%d %H:%M:%S') ## Snowflake
【データ基盤構築/Snowflake/AWS】自分で１から簡単なデータ基盤・データパイプラインを作ってみる - Qiita
今回の課題 今後、業務でAWSとSnowflakeでデータ基盤を構築・運用していくことになるので、 勉強のために、自分で１からデータ基盤・データパイプラインの作成に挑戦してみた。 後から見返しやすいように、どのように作成したのかまとめてみる。 どのようにデータ基盤を作ったのか 以下のアーキテクチャ図のように作ってみた。 データ基盤作成手順 どのようにデータ基盤を作成したのか、手順に沿ってまとめてみた。 手順毎の詳細は、以前に別の記事で書いているので、そちらの記事も手順毎に記載した。 1)EC2上でRDSを動かす&RDSにデータを入れる 下記の記事を参考にしながら、以下を実装。 VPCを構築し、その中にEC2とRDSを立てる。 今回は、ターミナルからAWSにSSH接続して、create tableやinsertなどを実行してRDSにデータを入れるようにした。 ※注意:Snowflakeのリー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
