AWS Lambda×DuckDB×PyIcebergによるETLの実装

はじめに 以前、AWS Lambda×DuckDBによる軽量ETLの実装という記事を投稿しました。 今回は最近話題のApache Iceberg形式に対応したLambdaベースのETLを実装したいと思います。 そもそもAWS GlueやEMRを使えば簡単に出来るのですが、軽量データセットの場合だとコスト面が合わないということもあると思います。 そういった場合に今回のようなAWS Lambdaを使ったETLが効果を発揮します。 ※ちなみに個人アカウントでGlueを使ってIcebergのテーブルをいじっていたら2万近くかかってしまったので、個人で使用する場合にも効果的かと思います！ 今回のアーキテクチャ 今回のアーキテクチャはとてもシンプルです。 S3のファイルアップロードをトリガーにLambdaを起動し、S3(Iceberg）に書き込むものとなります。 ポイントはLambdaで使用する各種ラ

[sh19910711]

2024 / "pyiceberg: オプションにglue,duckdbを付加することで同時にglue用の拡張と、DuckDB及びPyArrowがインストール / Write-Audit-Publish(WAP)パターンの実装も可能 + WAP処理を行うことでデータの品質を担保 + Glue Data Qualityを使うと便利"