AWS Lambda で Amazon Athena のクエリを実行してS3のデータを取得する | DevelopersIO
Lambda(Python3.6)からAthenaを実行する機会がありましたのでサンプルコードをご紹介します。 Overview Event発生時にキーとなる情報を受け取り AWS Lambda が実行される Amazon Athenaでクエリを実行し実行結果を取得する Athena実行時に作成されたS3オブジェクトは削除する s3 data s3 にあるデータは以下とします。 {"name":"user1","email":"user1@example.com"} {"name":"user2","email":"user2@example.com"} {"name":"user3","email":"user3@example.com"} AWS Lambda Sample Code 呼び出されるときにnameの情報を取得しAthenaでクエリを実行してレスポンス情報を返します。 im
AWS Black Belt Online Seminar 2017 Amazon Athena
This document provides an overview and agenda for a webinar on Amazon Elasticsearch Service (Amazon ES). It introduces Elasticsearch and Amazon ES, including the benefits of using the fully-managed service such as cost efficiency, high availability, security, and ease of deployment. The webinar will cover topics like log analysis, search capabilities, operations management, security, pricing and l
Amazon Athena で CloudFront のログを分析してみる | はったりエンジニアの備忘録
続いてテーブルを作ります。 CloudFront のログはタブ区切りの TSV 形式で、フィールドは全部で 24 個あります。 アクセスログ - ログファイル形式 TSV のフィールド名を小文字のアンダースコア区切りにして、テーブルのカラム名にしました。 CREATE EXTERNAL TABLE IF NOT EXISTS blog_manabusakai_com ( date DATE, time STRING, x_edge_location STRING, sc_bytes INT, c_ip STRING, cs_method STRING, cs_host STRING, cs_uri_stem STRING, sc_status INT, cs_referer STRING, cs_user_agent STRING, cs_uri_query STRING, cs_cook
Amazon AthenaでCloudFrontログをSQLで解析する #reinvent #athena | DevelopersIO
ども、大瀧です。 AWS re:Invent 2016で発表された新サービス『Amazon Athena』。発表以後、弊社ブログエントリでも早速検証エントリが上がってきています。 Athena ｜ 特集カテゴリー ｜ Developers.IO AthenaはS3にあるデータに対してアドホックにSQLクエリが発行できるので、標準でS3にログを保存するCloudFrontのログデータをAthenaで扱ってみました。 テーブル定義 AthenaにはCatalog Managerというテーブル作成のウィザードが用意されているのですが、カラム定義をGUIで一つずつ選択するためカラム数の多いテーブル定義はしんどいです。今回は管理コンソールのQuery Editorからテーブルを作成するCREATE TABLE文を直接発行し、テーブルを作成しました。構文は以下のドキュメントを参照してください。Pres
サーバーレスのクエリサービス「Amazon Athena」のチュートリアルでS3上のログを集計してみる - サーバーワークスエンジニアブログ
こんにちは。技術1課@大阪オフィスの柏尾です。 今回はre:Inventで発表された「Amazon Athena」について書いてみようと思います。（re:Inventの動画はこちら） Amazon Athena とは Amazon Athenaはまとめると、下記のようなサービスです。 Athenaは新しいサーバーレスのクエリサービスで、分散SQLエンジンのためのクラスタ構築・運用が不要Amazon S3に保存された膨大な量のデータを、標準SQLを使って簡単に分析できる（分散SQLエンジンPrestoベース）利用者はS3に保存したデータに対して、テーブルやフィールドを定義、クエリを実行するだけ実行クエリがスキャンしたデータ量に対してのみの課金（$5/TB）JSON、CSV、ログファイル、カスタム区切りのテキスト、Apache Parquet、Apache ORC等を含む様々なフォーマットに対
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
