AWS Glueでデータレイクフレームワーク（Hudi）を試してみた - Qiita

データレイクフレームワーク AWS Glueのドキュメントによると、下記の特徴があると記載されています。 データレイクに保存するファイルの増分データ処理を簡素化できる S3に保存するデータに対する読み書きが一貫性のあるトランザクションにより実行できる また、Glue3.0以降では下記のOSSデータレイクフレームワークがサポートされているとのことです。 Apache Hudi Linux Foundation Delta Lake Apache Iceberg 以降で、それぞれの特徴を整理します。 Apache Hudiの概要 Apache Hudiのドキュメントを元に特徴を整理します。 発音は、hooodieとのこと。 ストリーミングデータレイクプラットフォーム Hudi は、下記を提供しながらデータをオープン ソース ファイル形式に保つ。 テーブル トランザクション 効率的な upser

[sh19910711]

ヒューディかと思ってた / "Apache Hudi: 発音は、hooodieとのこと + ストリーミングだけではなく増分バッチパイプラインもサポート / メタデータ テーブルの主な目的は、「ファイルのリスト」操作の要件をなくすこと"