【Athena の躓きシリーズ】Athena 専用ユーザーを払い出してクエリを叩けるまでにハマったこと - 継続は力なり
タダです. 業務でいろんな部署の人に Athena の実行ユーザーを提供して分析業務を行ってもらっているのですが,そのために IAM ポリシーと Athena 側での設定でハマったことをまとめておきます. IAM ポリシーでハマったこと Athena の設定でハマったこと まとめ IAM ポリシーでハマったこと 分析業務は AthenaとS3, KMS で暗号化しているのでそのあたりを気をつけて IAM ポリシーを検証しました.なお,デフォルトユーザーには ReadOnlyAccess が権限が振られており,データは Aurora からエクスポートしたデータなので KMS が暗号化されています. sadayoshi-tada.hatenablog.com ベースポリシーを AmazonAthenaFullAccess を参考に使って検証した時に,primary ワークグループへのアクセス権
知らなかったのは私だけでしょうか･･･。東京リージョンでも Amazon Athena フェデレーテッド・クエリが GA されていました | DevelopersIO
え・・・いつからそこに居たの。 ずっと待ってたんだよ・・・ ということで、ひっそりと東京リージョンでも Amazon Athena の Federated Query が GA されていました。 いつから？ 2020年12月16日にドキュメント更新されていたようです。 こんな待望のアップデートを 1 ヶ月も見落としていたなんて。。私、アップデート職人だと自負していましたが、これはアップデート職人引退が迫られる事案だと重く受け止めています。。 Amazon Athena Federated Query Amazon Athena のフェデレーテッド・クエリはリレーショナル、非リレーショナル、オブジェクト、およびカスタムのデータソースに格納されているデータに対して SQL クエリを実行できるようになる機能です。フェデレーテッド・クエリについては以下のブログを参照ください。 これまで Athen
データポータルを使用してAWS Athena,S3のデータを可視化する - RHYTHM TECH BLOG
こんにちは。香田です。 今回はAWS Athena,S3で参照しているデータに対して、データポータルのコミュニティコネクタを利用して可視化する方法を紹介していきます。 はじめに 今回利用するコミュニティコネクタとは、誰でも構築可能なコネクタとして提供されており、Google Apps Scriptを使用して開発さています。 コミュニティコネクタの作成方法等の詳細についてはこちらを参考にしてみてください。 今回コミュニティコネクタとして公開されている下記のGitHubリポジトリを利用して作成していきます。 AWS Athena Connector for Data Studio プロジェクト作成 はじめにGoogle Apps Scriptページへアクセスしプロジェクトを作成します。 [新しいプロジェクト]をクリックします。 プロジェクト名を無題のプロジェクトからAWS Athenaへ変更し
Athena で Amazon S3 サーバーのアクセスログを分析する
解決策 Amazon S3 では、サーバーアクセスログがオブジェクトとしてS3 バケットに保存されます。Athena でサーバーアクセスログを分析し、S3 クエリを行うには、次の手順に従います。 有効になっていなければ、S3 バケットのサーバーアクセスログ記録を有効にします。[ターゲットバケット] と **[ターゲットプレフィックス]**の値を書き留めておきます。Athena クエリで Amazon S3 の場所を指定するには、両方が必要です。 注: ログオブジェクトキー形式では、日付ベースのパーティション化を選択して、分析アプリケーションとクエリアプリケーションを高速化します。 Amazon Athena コンソールを開きます。 注: 最初のクエリを実行する前に、場合によっては、Amazon S3 にクエリ結果の場所を設定します。 [クエリエディタ] で、DDL ステートメントを実行して
Amazon Athena で CloudFront のアクセスログを集計する | DevelopersIO
こんにちは、菊池です。 これまでのエントリで、ELBのログをAmazon Athenaで分析する方法を紹介しました。 Amazon Athena RegexSerDe を利用して CLB ログ / Apache Web のアクセスログを探索する Amazon Athena RegexSerDe を利用して ALB ログを探索する 今回は、CloudFrontのアクセスログをAmazon Athenaで分析してみます。 CloudFront とは Amazon CloudFrontは、AWSが提供するコンテンツ配信サービス（CDN）です。ユーザからのアクセスを、世界中にあるエッジサーバを経由するよう誘導することで、高速なアクセスを提供します。また、エッジサーバにコンテンツをキャッシュすることで、オリジンサーバの負荷を低減することもできます。 AWS再入門 Amazon CloudFront編
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Athenaでのタイムスタンプの扱い方 まとめ - Qiita
