AthenaからDeltatableのデータをReadする その2 - Qiita

Delta tableのデータをAthenaからreadする DeltaのデータをAthenaからreadする方法はこちらの記事でもご紹介いただいていますが、方式にupdateがあったので、shareさせていただければと思います。 設定項目 項目としてはシンプルで AthenaのEngineをv3に変更 Glue catalogにExternal tableとしてDelta tableを登録 という方式になります。 https://docs.aws.amazon.com/ja_jp/athena/latest/ug/delta-lake-tables.html それではやってみましょう。 実践 何はともあれ、delta tableをまず作成します。 Delta tableの作成 # サンプルデータの読み込み df = spark.read.format('csv').option('hea

[sh19910711]

"DeltaのデータをAthenaからreadする方法: AthenaのEngineをv3に変更 + Glue catalogにExternal tableとしてDelta tableを登録 / Delta tableの統計情報を利用してのqueryになるので、無駄なファイルのscanをskipするなどの機能も享受できます"