【レポート】Architecting and Building – ログデータ用のデータレイク＆分析環境をクイックに構築するには？ #AWSSummit | DevelopersIO
はじめに 皆さんこんにちは。石橋です。 2020年9月8日から9月30日までオンラインで視聴可能なクラウドカンファレンス、AWS Summit Online 2020が開催中です！！ 本エントリではライブセッション「AAB-03：Architecting and Building - ログデータ用のデータレイク＆分析環境をクイックに構築するには？」のレポートをお届けします。 概要 スピーカー アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 下佐粉 昭 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 野間 愛一郎 セッション概要 ログやデータベースに色々なデータが溜まっている。できればデータを集めて分析したいんだけど、どのようにすれば良いか分からない、という方も多いのではないでしょうか。本セッションでは、架空のお
データポータルを使用してAWS Athena,S3のデータを可視化する - RHYTHM TECH BLOG
こんにちは。香田です。 今回はAWS Athena,S3で参照しているデータに対して、データポータルのコミュニティコネクタを利用して可視化する方法を紹介していきます。 はじめに 今回利用するコミュニティコネクタとは、誰でも構築可能なコネクタとして提供されており、Google Apps Scriptを使用して開発さています。 コミュニティコネクタの作成方法等の詳細についてはこちらを参考にしてみてください。 今回コミュニティコネクタとして公開されている下記のGitHubリポジトリを利用して作成していきます。 AWS Athena Connector for Data Studio プロジェクト作成 はじめにGoogle Apps Scriptページへアクセスしプロジェクトを作成します。 [新しいプロジェクト]をクリックします。 プロジェクト名を無題のプロジェクトからAWS Athenaへ変更し
https://jawsug-bigdata.connpass.com/event/200841/ BigData-JAWS 勉強会#16 LT 資料 UZOUでのAthenaの設計の話はブログにも書いていますので興味があればぜひ https://tech.speee.jp/entry/…
GitHub - harunobukameda/Amazon-Redshift-Spectrum-AWS-Glue-Amazon-Athena-Amazon-S3-Select
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Amazon AthenaでAWS WAF XSS/SQLiの詳細ログをクエリしてみた #reinvent | DevelopersIO
こんにちは、臼田です。 みなさん、ログ分析してますか？(挨拶 AWS WAFでXSS/SQLiの詳細ログが出力されるようになったので、これをAmazon Athenaでクエリしてみました。詳細ログについては下記をご参照ください。 AWS WAFのログをAthenaで分析 AWS WAFのログはS3に保存されます。S3に保存されているデータを分析するにはAmazon Athenaを利用してクエリをかけるとやりやすいです。詳細は下記をご確認ください。 今回のログフィールドの追加に合わせてアップデートしました。 新しいCreate Table 上記記事も更新してありますが、新しいCreate Tableを書いておきます。 CREATE EXTERNAL TABLE IF NOT EXISTS waflogs ( `timestamp` bigint, formatVersion int, web
こんにちは。2020年9月にSpeeeにジョインしたデジタルトランスフォーメーション(DX)事業本部エンジニアの石井です。 先日、新入社員向けOSSイントロダクションでSpeeeのOSS活動がどのように行われているのかクリアコードの須藤さんから紹介していただきました。 その中で取り上げられている具体例のケース2が実は私なのですが、今回は私が取り組んだSpeeeでのOSS活動について実際の開発プロセスや雰囲気をお伝えできればと思います。 また開発の詳細については既にGoのAthena用database/sqlドライバーをOSSでリリースした話が公開されておりますのでそちらをご覧ください！ 入社後、須藤さんのOSS相談会に参加！ 入社後、早速須藤さんとOSS活動について相談させていただく機会がありました。新入社員向けOSSイントロダクションでも紹介されているように「OSSとは何か」といったお話
2023-10-18 JAWS-UG SRE⽀部 #7 AWSでゆるSRE︕LT⼤会 https://jawsug-sre.connpass.com/event/291843/
[小ネタ]AthenaでALBアクセスログ のtimestampのタイムゾーンの変換をする | DevelopersIO
はじめに ALBのアクセスログなどタイムスタンプのタイムゾーンがUTCになっている場合は多くあると思います。頭の中で読み替えるのはそれほど難しくないのですが、量が多かったり、クエリの結果を共有する場合はタイムゾーンの変換をしたい場合があります。調べてみると簡単にタイムゾーンの変更ができたので、そのメモです。 前提 今回はALBのアクセスログをAthenaでクエリする場合を例に考えます。タイムスタンプのフォーマットやタイムゾーンはユースケースによって異なると思いますので、適宜読み替えてください。 タイムスタンプのパース ALBのログをAthenaでクエリする場合そのままではタイムスタンプ(timeカラム)は文字列型です。タイムゾーンの変換前にこれをTIMESTAMP型へパースする必要があります。 パースするには以下の通りparse_datetime関数を使います。 parse_datetim
![[小ネタ]AthenaでALBアクセスログ のtimestampのタイムゾーンの変換をする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/403c56e9014c7d88e1caa76de4dee5c9b8dece00/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-athena.png)
Amazon QuickSightでAthenaからのデータ取得が権限エラーで失敗するので対処してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 今回は、Amazon QuickSightからAthenaに接続してデータを取得しようとすると権限エラーで失敗してしまったため対処方法を確認してみました。 データソースとなるAthenaの環境 Amazon QuickSightからデータソースとして接続しようとしたAthenaの環境は次のように作成しました。 データベース作成 CREATE DATABASE mydb テーブル作成 CREATE EXTERNAL TABLE IF NOT EXISTS mydb.mytable ( rank string, name string, attribute string ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES (
Identifying resources with the most configuration changes using AWS Config | Amazon Web Services
AWS Cloud Operations Blog Identifying resources with the most configuration changes using AWS Config AWS Config tracks changes made to supported resources and records them as configuration items (CIs), which are JSON files delivered to an Amazon S3 bucket. These are delivered in 6-hour intervals, as configuration history files. Each file contains details about the resources that changed in that 6-
Cost optimization in AWS using Amazon CloudWatch metric streams, AWS Cost and Usage Reports and Amazon Athena | Amazon Web Services
AWS Cloud Operations Blog Cost optimization in AWS using Amazon CloudWatch metric streams, AWS Cost and Usage Reports and Amazon Athena You can use metric streams to create continuous, near-real-time streams of Amazon CloudWatch metrics to a destination of your choice. Metric streams make it easier to send CloudWatch metrics to popular third-party service providers using an Amazon Kinesis Data Fir
実はSQL文が好きな鎌田です。 Athena、みなさんはもうご利用でしょうか。Athenaを使うとS3バケットの様々なログをSQLをかけて解析することができます。 今回は、VPC Flow LogsをAthenaで検索する方法をご紹介します。 VPC Flow LogsのログをS3に出力するように設定する まず、解析対象のVPC Flow LogsをS3に出力するように設定しておきます。 VPCの画面から、S3にログを出力したいVPCを選び、下のペインから「フローログ」のタグを選んで「フローログ」の作成をクリックします。 下記のような形で、フローログの設定をします。 アクセスログを吐き出すS3バケットは、空で良いので先に作っておきましょう。 ※この画面では作成できません S3バケットに書き込む必要なバケットポリシーは、自動でアタッチされます。 設定項目 設定値 フィルタ すべて Maxim
Amazon Athena を Apache Hive メタストアに接続し、ユーザー定義関数を使用する | Amazon Web Services
Amazon Web Services ブログ Amazon Athena を Apache Hive メタストアに接続し、ユーザー定義関数を使用する Amazon Athena は、標準 SQL を使用して Amazon S3 のデータを簡単に分析できるインタラクティブなクエリサービスです。Athena はサーバーレスであるため、インフラストラクチャの管理は不要であり、実行したクエリにのみ課金されます。この投稿では、現在プレビュー中である2つの新しい機能、Apache Hive Metastore への接続と、ユーザー定義関数の使用について詳しく説明しています。これらは本日から使い始めることができます。 Athena を自分の Apache Hive Metastore に接続する Hive Metastore を、自分のビッグデータ環境に共通のメタデータカタログとして使っているお客様が
はじめに AWS AthenaでCREATE TABLEを実行するやり方を紹介したいと思います。 CTAS(CREATE TABLE AS SELECT)は少し毛色が違うので、本記事では紹介しておりません。 AWS GlueのCrawlerを実行してメタデータカタログを作成、編集するのが一般的ですが、Crawlerの推論だとなかなかうまくいかないこともあり、カラム数やプロパティが単純な場合はAthenaでデータカタログを作る方が楽なケースが多いように感じます。 S3に配置されたデータに対してテーブルを作成する CREATE EXTERNAL TABLE 構文を用いてテーブルを作成いたします。 例として、今回は日本の人口推移データをs3://inu-is-dog/athena/c01.csvに配置しました。 (都合上、csvのヘッダーを英語表記に変更いたしました。) 出典：政府統計の総合窓口
20200617 AWS Black Belt Online Seminar Amazon Athena
1. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark. Solutions Architect, Analytics Makoto Kawamura 2020/06/17 [AWS Black Belt Online Seminar] Amazon Athena サービスカットシリーズ AWS 公式 Webinar https://amzn.to/JPWebinar 過去資料 https://amzn.to/JPArchive 2. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and
AWS WAFログをAthenaで分析する環境をGlueクローラを使って構築してみる | DevelopersIO
AWS WAFのログをAthenaで分析するための環境（Glueデータカタログ）をGlueクローラを使って構築してみたので、そのやり方を紹介します。 AWS WAFのログをAthenaで分析する方法は、弊社のブログで公開されています。 AWS WAFのフルログをAthenaで分析できるようにしてみた | Developers.IO S3に保存した AWS WAFログを Athenaで分析してみる | Developers.IO どちらもAthenaのテーブル（Glueデータカタログ）を CREATE TABLE で構築しているので、本ブログでは Glueクローラ に焦点を当て、Glueクローラを使ってテーブルを構築する方法を紹介します。 Glueクローラで作ると何がうれしいのか？ AWS WAFのログであれば、すでに前述のブログでAWS WAFのログ形式に合わせたテーブルメタデータのCRE
Amazon Athena now presents query execution plans to aid tuning
Amazon Athena users can now view the execution plan for their queries. When querying large, complex datasets, users are often unaware of how their query will be executed or how optimizations will impact performance. Now generally available for Amazon Athena, the EXPLAIN statement helps users understand and improve the efficiency of their queries. When used in the Athena console, the EXPLAIN statem
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Athenaを使ったバッチ処理のTIPS
SpeeeでのOSS活動事例をご紹介します - Speee DEVELOPER BLOG
ALBのアクセスログをAthenaで分析してSLOをゆるく決める
Athenaを使ってVPC Flow Logsを解析する - サーバーワークスエンジニアブログ
AWS Athena で CREATE TABLE する - Qiita
lemolog.lemomo-works.com
news.yahoo.co.jp
news.yahoo.co.jp
news.yahoo.co.jp
news.yahoo.co.jp
news.yahoo.co.jp