Snowflake新機能： Iceberg Table と Polaris Catalog の仕組み

はじめに こんにちは！ナウキャストのデータエンジニアのけびんです。 Data Cloud Summit 2024 にて Iceberg Table が GA となること、また Polaris Catalog が発表されました。大々的に発表されたので気になっているものの、詳細を知らない方も多いのではないでしょうか？ 自分もその一人だったので、本記事では改めて Apache Iceberg とは何かというところからまとめていきます。もし誤りなどあれば教えていただけますと幸いです。 Table Format とは Apache Iceberg とは大規模な分析データ向けの Open Table Format で、 Snowflake の Iceberg Table はこれを使用したテーブルということになります。Iceberg を深掘る前にそもそも Table Format とは何でしょうか？ T

[sh19910711]

"Iceberg: オープンであるにもかかわらず、 Iceberg Catalog と Compute Engine との間で相互依存する多くの制約がある / Polaris Catalog という名の Iceberg Catalog を発表 + 近々オープンソースとすることも述べて"