タグ

2025年1月19日のブックマーク (1件)

  • Apache Icebergにおける同時実行制御の仕組みと注意点 - Bering Note – formerly 流沙河鎮

    はじめに Icebergテーブルのアーキテクチャ Icebergの同時実行制御のコンセプト Icebergの書き込み処理の流れ 同時書き込み時のシナリオパターン データ競合チェック なぜデータ競合のチェックが必要か? 主要なオペレーションで実施されるバリデーション AppendFiles OverwriteFiles (Copy-on-Write 更新/削除) RowDelta (Merge-on-Read 更新/削除) RewriteFiles (REPLACE: コンパクション) バリデーションの種類 データパイプライン設計時の注意点 まとめと宣伝 おまけ(ソースコードベースの流れ) はじめに Apache Icebergテーブルは、テーブル単位、オペレーション単位のトランザクション分離レベルとしてserializableとsnapshotをサポートしています。(デフォルトはseria

    Apache Icebergにおける同時実行制御の仕組みと注意点 - Bering Note – formerly 流沙河鎮
    bootJP
    bootJP 2025/01/19