タグ

2023年8月25日のブックマーク (1件)

  • Partition Projection を使って AWS WAF のログを分析してみた | DevelopersIO

    Amazon Athena (以降、Athena) の利用料金とパフォーマンスは、スキャン対象のデータ量に比例します。 Athena では、パーティションを追加することによって、スキャン対象のデータ量を絞り、コストを減らしスキャン速度を向上できます。 パーティションを追加するには、 ALTER TABLE ADD PARTITION を実行 Glueのクローラで Glue Data Catalog にパーティションを登録 といった方法がございますが、これらはクエリを実行する度に実行しなくてはなりません。 また、多くのパーティションが存在するケースでは Glue Data Catalog からパーティションを取得する API の呼び出しがクエリパフォーマンスのボトルネックとなる可能性がございました。 これらの課題を解決するために Partition Projection を使うことで、パーテ

    Partition Projection を使って AWS WAF のログを分析してみた | DevelopersIO
    y-kawaz
    y-kawaz 2023/08/25
    コレ良い