Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データ統括本部でYahoo!広告のデータエンジニアをしている江島です。 本記事では、Yahoo!広告のデータ分析環境であるデータレイク上のデータを、Apache Hudi を用いてレコード単位で削除可能にした事例を紹介します。 Yahoo!広告のデータ分析環境 Yahoo!広告における データマーケティングソリューション では、ヤフーの持つ圧倒的な量と質のデータを活用し、消費者理解や広告効果分析を目的としたさまざまな商品を提供しています。 これらの商品を提供するための裏側には広告に関する膨大なログや多種多様なサービスのログを使ってデータ分析や機械学習を行うためのデータ基盤が必要です。データマーケティングソリューションで

[sh19910711]

"Hudi におけるデータの更新: 新たなバージョンの新たな別ファイルを生成 / 100レコードのデータからある1レコードを削除した場合は、既存のファイルを残しつつ、99レコードの新たなファイルが出来上がります"

[somemo]

“Apache Hudi と似たような機能を持っていて AWS で使用可能なものとしては Databricks の Delta Lake、 Apache Iceberg、AWS Lake Formation の機能である Governed Tables などがあります”

[HHR]

parquetのラッパー。レコード単位での削除が可能になる。orc形式は非対応

[nilab]

Apache Hudi を用いてレコード単位で削除可能なデータレイクを構築した話 - Yahoo! JAPAN Tech Blog