エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Snowpipe によるファイル取り込みを AWS Lambda から動かしてみる
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Snowpipe によるファイル取り込みを AWS Lambda から動かしてみる
当社では現在、データ分析基盤の更改に向けて Snowflake の技術検証を進めています。主要なデータ発生源... 当社では現在、データ分析基盤の更改に向けて Snowflake の技術検証を進めています。主要なデータ発生源である AWS 環境からのデータ取り込みもそのうちの1つです。 今回は、AWS Lambda を起点に Snowpipe によるファイル取り込みを実行する方法について検証してみたので、その内容をご紹介したいと思います。 AWS 環境から Snowflake へのデータ取り込み AWS 環境からのデータ取り込みの方法としては、Snowflake とのストレージ統合が設定された S3 バケットにファイルを配置して、S3 イベント通知 を使用して自動的に Snowpipe をトリガーし、Snowflake 環境にロードするというのが一般的な構成の 1 つのようです。[1] もちろんこの方法でも良いのですが、S3 イベント通知による Auto-Ingest よりも、AWS 側のワークロードか