Amazon AthenaでS3上のファイルにSQLアクセスしてみる
Amazon Athenaとは Amazon Athenaとは、Amazon Web Services（AWS）のサービスの一つで、「標準 SQL を使用して Amazon Simple Storage Service （S3） でのデータの直接分析を簡易化するインタラクティブなクエリサービス」です。 つまり、AWSのS3ストレージに置いてあるCSVファイルやJSONファイルに対して直接SQLを発行し、クエリの結果を得ることができるサービスです。 構成イメージ Amazon Athenaを使ってみよう 実際に使ってみましょう。 例えば、S3に次のような生徒ごとの5教科のテスト結果の点数が書かれたcsvファイルがあるとします。このcsvファイルがAmazon Athenaからどう見えるか、みてみましょう。 csvファイルイメージ（テスト結果.csv） まずはS3にバケット・フォルダを作成し、
Amazon Athena 横串検索の使用 - Amazon Athena
Amazon S3 以外のソースにデータがある場合は、Athena の横串検索を使用してインプレースでデータをクエリしたり、複数のデータソースからデータを抽出して Amazon S3 に保存するパイプラインを構築したりすることができます。Athena の横串検索では、リレーショナル、非リレーショナル、オブジェクト、およびカスタムデータソースに保存されているデータの全体で SQL クエリを実行することができます。 Athena は横串検索を実行するために、AWS Lambda で実行されるデータソースコネクタを使用します。データソースコネクタは、ターゲットデータソースと Athena 間での変換を実行できるコードです。コネクタは、Athena のクエリエンジンの拡張機能として考えることができます。事前構築された Athena データソースコネクタは、Amazon CloudWatch Log
Athena SQL の使用 - Amazon Athena
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Athena SQL の使用 Athena SQL を使用して、AWS Glue Data Catalog、外部 Hive メタストア、または他のデータソースへのさまざまな事前構築済みコネクタを使用したフェデレーションクエリを使用して、Amazon S3 でデータをインプレースでクエリできます。 以下の操作も可能です。 ビジネスインテリジェンスツールやその他アプリケーションに Athena の JDBC ドライバーおよび ODBC ドライバーを使用します。 AWS サービスログをクエリします。 タイムトラベルクエリを含む Apache Iceberg テーブルおよび Apache Hudi データセットのクエリを実行します。 地理空間データをクエリします。 Amaz
ゼロ ETL とは何ですか? - ゼロ ETL の説明 - AWS
ゼロ ETL は、ETL データパイプラインを構築する必要性を排除し、または最小限に抑える一連の統合です。抽出、変換、ロード (ETL) は、さまざまなソースからのデータを結合、クリーニング、正規化して、分析、人工知能 (AI)、機械学習 (ML) のワークロードに対応できるようにするプロセスです。従来の ETL プロセスは、開発、メンテナンス、スケールに時間がかかり、複雑です。一方、ゼロ ETL 統合では、ETL データパイプラインの作成を必要とせずに、ポイントツーポイントのデータ移動を円滑に行うことができます。また、ゼロ ETL を使用することで、データを移動することなく、データサイロ全体でクエリを実行できるようになります。 ETL について読む » ゼロ ETL 統合は、従来の ETL プロセスでのデータ移動に関する既存の課題の多くを解決します。 システムの増大する複雑さ ETL デ
KMS で暗号化された Amazon S3 バケットへのアップロード時のアクセス拒否エラー
AWS KMS のデフォルト暗号化を使用する Amazon S3 バケットにファイルをアップロードするとき、Access Denied エラーが表示されるのはなぜですか？ Amazon Simple Storage Service (Amazon S3) バケットで、AWS Key Management Service (AWS KMS) のデフォルトの暗号化を使用しています。バケットにファイルをアップロードしようとすると、Amazon S3 から Access Denied というエラーメッセージが返されます。どうすれば解決できますか? 解決方法 まず、以下を確認します。 AWS Identity and Access Management (IAM) のユーザーまたはロールには、バケットに対する s3:PutObject 許可があること。 AWS KMS キーに「aws/s3」エイリア
AWS Lake Formation（安全なデータレイクを数日で構築）| AWS
データアクセスの管理とスケーリングは複雑で時間がかかります。Lake Formation が、きめ細かいデータアクセス権限を一元的に管理およびスケールし、組織内外で自信を持ってデータを共有するのにどのように役立つかをご覧ください。
AWS Athena + QuickSightでS3に蓄積されたCSVデータを可視化 - Qiita
やりたい事 サービスの統計情報を取得するために、データベースの登録状況をバッチ処理でCSVに落として保存している運用をされている方は結構いらっしゃるのではと思います。そのS3データを簡単に可視化する方法として、AWS AthenaとQuickSightを利用してみました。 Amazon S3 内のデータを標準 SQL を使用して簡単に分析できるようになります。Athenaを利用の流れは以下のような形になります。 1.S3にバケットを作成して、分析したいCSVファイルを置く 2.AWS Athenaのコンソールでデータベースの作成 3.AWS Athenaのコンソールでテーブルを作成する 4.作成したデータベースに対して、SQLのクエリを発行して必要な情報のみ取得する。 SQLのクエリはPresto 0.172 に基づいていますので、通常のSQL文とは差分がありますので、注意が必要です。 h
Amazon QuickSight adds support for Amazon Athena
You can now visualize the results of your Amazon Athena queries in Amazon QuickSight. Athena is an interactive query service that makes it easy to analyze data in Amazon S3 using standard SQL. Connecting to Athena from QuickSight is a 1-click process. There’s no need to provide endpoints, username and password. Simply select Athena as your data source, select the database and tables you want to an
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
