Icebergで時間に基づくパーティションを設定する前に読む記事 - Bering Note – formerly 流沙河鎮

TL;DR パーティショニングとは Hiveテーブルにおけるパーティション構造 IcebergのTransformとHidden Partitioning Transformの仕組み 時間に関わるカラムへのTransformをどのように指定するべきか なぜ複数のTransformを指定する必要がないのか Icebergメタデータ構造とパーティション管理 マニフェストリストとマニフェストファイルの役割 階層的な時間単位の自然な扱い まとめ Apache Icebergのパーティショニングは、従来のHiveテーブルとは大きく異なる設計思想を持っています。この記事では、Icebergの「Transform」と「Hidden Partitioning」の仕組みを詳しく解説します。 その上で、時間に関わるカラム(date, timestamp, timestamptz, timestamp_ns,

[tmatsuu]

TL;DRだけ読むとえ？なんで？となったが、Unix Epochからの経過時間になるのかなるほどー。