AWS Glue Flexオプションについて - Qiita
AWS Glue Flexオプション AWS Glueでは2022/08/09にFlexタイプのジョブ実行モードというのが追加されました。 FlexタイプのジョブはEC2のスポットインスタンスのような非占有型のコンピュートキャパシティ上で動作します。 そのため、リソースの使用状況に応じてジョブの開始に時間がかかる場合などがありますが、その分コスト的には通常のジョブに比べ安価になっています。 テスト用途のジョブや実行時間の制約の緩い夜間のバッチジョブなどでコストを安価に抑えながらジョブを実行できるオプションになります。 Flexオプションのコスト 2022年11月現在、東京リージョンではFlexオプションは通常のジョブに比べ最大34%のコスト削減効果があります。 通常 Flex Flexオプションの特徴 FlexオプションはGlue 3.0またはそれ以降のバージョンのETLジョブで利用可能で
Athenaで異なるS3ストレージクラスのオブジェクトをクエリする - Qiita
AthenaのS3ストレージクラスに関する仕様 Athenaでは異なるストレージクラスのオブジェクトで構成されるテーブルについても問題なくクエリすることができます。 例えば、以下のようにテーブルに対応するフォルダ配下に複数のストレージクラスのオブジェクトがあったとしても問題ありません。 AthenaのGlacierに関する考慮事項 Athenaでは Amazon S3 Glacier Flexible RetrievalとAmazon S3 Glacier Deep Archiveストレージクラスのオブジェクトに関してはクエリされません。 例えば以下のようにAmazon S3 Glacier Flexible RetrievalとAmazon S3 Glacier Deep Archiveのオブジェクトが含まれるテーブルに対して、SELECT * FROM tableのようなクエリを実行し
Redshift SpectrumでParquetのMIN/MAXプルーニングの効果を確認する - Qiita
Redshift SpectrumでのParquetのMIN/MAXプルーニング Redshift SpectrumではS3上に置かれたファイルをクエリすることができる機能です。 サポートしているファイルフォーマットはいくつかありますが、有名なフォーマットとしてParquetがあります。 Parquetではカラムごとに、いくつかのグループでまとまって管理が行われ、そのグループごとに最小値、最大値の統計情報を持っています。Redshift Spectrumではその統計情報を確認することで、不要なグループを読み飛ばすMIN/MAXプルーニングを行うことができます。 データの準備 Redshiftに格納されているTPC-Hのlineitem表からS3にParquetのデータを2種類作成します。 lineitem表のデータをそのままS3に出力するクエリ CREATE EXTERNAL TABLE
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
