Partition Projection を使って AWS WAF のログを分析してみた | DevelopersIO
Amazon Athena （以降、Athena） の利用料金とパフォーマンスは、スキャン対象のデータ量に比例します。 Athena では、パーティションを追加することによって、スキャン対象のデータ量を絞り、コストを減らしスキャン速度を向上できます。 パーティションを追加するには、 ALTER TABLE ADD PARTITION を実行 Glueのクローラで Glue Data Catalog にパーティションを登録 といった方法がございますが、これらはクエリを実行する度に実行しなくてはなりません。 また、多くのパーティションが存在するケースでは Glue Data Catalog からパーティションを取得する API の呼び出しがクエリパフォーマンスのボトルネックとなる可能性がございました。 これらの課題を解決するために Partition Projection を使うことで、パーテ
AWS Lambda で Amazon Athena のクエリを実行してS3のデータを取得する | DevelopersIO
Lambda(Python3.6)からAthenaを実行する機会がありましたのでサンプルコードをご紹介します。 Overview Event発生時にキーとなる情報を受け取り AWS Lambda が実行される Amazon Athenaでクエリを実行し実行結果を取得する Athena実行時に作成されたS3オブジェクトは削除する s3 data s3 にあるデータは以下とします。 {"name":"user1","email":"user1@example.com"} {"name":"user2","email":"user2@example.com"} {"name":"user3","email":"user3@example.com"} AWS Lambda Sample Code 呼び出されるときにnameの情報を取得しAthenaでクエリを実行してレスポンス情報を返します。 im
AWS WAFログをAthenaで分析する環境をGlueクローラを使って構築してみる | DevelopersIO
AWS WAFのログをAthenaで分析するための環境（Glueデータカタログ）をGlueクローラを使って構築してみたので、そのやり方を紹介します。 AWS WAFのログをAthenaで分析する方法は、弊社のブログで公開されています。 AWS WAFのフルログをAthenaで分析できるようにしてみた | Developers.IO S3に保存した AWS WAFログを Athenaで分析してみる | Developers.IO どちらもAthenaのテーブル（Glueデータカタログ）を CREATE TABLE で構築しているので、本ブログでは Glueクローラ に焦点を当て、Glueクローラを使ってテーブルを構築する方法を紹介します。 Glueクローラで作ると何がうれしいのか？ AWS WAFのログであれば、すでに前述のブログでAWS WAFのログ形式に合わせたテーブルメタデータのCRE
QuickSight で Athena にクエリしようとすると Access Denied と怒られる - ablog
事象 Athenaから直接クエリを実行できるが、QuickSightから同じテーブルにクエリすると "Access Denied" と怒られる。 [Simba][AthenaJDBC](100071) An error has been thrown from the AWS Athena client. Access Denied 原因 QuickSight でユーザー作成時にS3へのアクセス許可設定をしていない。 解決策 以下の通り設定する。当然の設定だが、この事象が発生していると相談を受けた場合の逆引き用にメモ。 アプリケーションバーでユーザー名を選択してから、[Manage QuickSight] を選択します。 [Account settings] を選択します。 [Account permissions] (アカウント権限) で、[Edit AWS Permissions] (
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
