redshiftのカラムに適切なencodeを設定する

redshiftはいわゆるcolumner型のデータ構造を持っているので、各columnに適切なencode(圧縮)方式を適用することが運用に際して非常に重要になります。 ◯redshiftに任せる redshiftは、当該テーブルへの初回copy時に適切なencodeを自動検出し適用する機能があります（10万レコードからサンプリングし、推定）。最もナイーブな方式としてはこちらに任せる、という方法があります。 適用されたencodeは、以下のクエリーを実行することで確認できます。 select * from pg_table_def where tablename = 'hoge'; ◯analyze compressionを実行した結果を適用する ただし、初回のサンプリングだけでは限界があり、運用を重ねていった結果実情に則さなくなるケースも多いです。 現在蓄えられたデータから最適なenc

[yass]

"redshiftは、そのデータ構造の性質上、データの出現順序(insert順序）によって圧縮効率が大きく変わる / 圧縮しやすい形でデータを保存したいのであれば、ある程度データをあらかじめソートした上で投入するのが、効率的 "