![Amazon Connectの[AWS Lambda 関数の呼び出し]ブロックがエラーになったり正常と判定される原因と解決方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0e1cd7e90f909b2d75241bda871585cbe620475c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-connect.png)
AWS Athenaでのタイムスタンプの扱い方 まとめ - Qiita
はじめに AWS AthenaはPresto SQLに準拠しているため数々の時刻関数を使用することができます。 今回は私がよく使うものを紹介していきたいと思います。 参照元 タイムゾーンの設定
はじめに AWS AthenaはPresto SQLに準拠しているため数々の時刻関数を使用することができます。 今回は私がよく使うものを紹介していきたいと思います。 参照元 タイムゾーンの設定
2022/03/09 更新: WAFのアップデートもありこの情報は古くなっています。以下ブログを代わりに参照ください。 概要 構成図は下記のとおりです。 ALB・EC2からなる Webサーバを作成します WAFを ALBに関連付けます WebACLには 以下 3ルールを適用させます SQL injection match condition cross-site scripting match condition string match condition Kinesis Data Firehoseで WAFログを S3に保存します 保存形式は GZIP 他はデフォルトの設定 【今回の記事内容】Athenaで S3に対してクエリを実行、結果を確認・分析します AthenaでS3に対してクエリを実行 テーブル作成 下記SQLを Athenaの New query 入力欄に貼り付けて Run
はじめに CloudFrontログなどのアクセスログからデータ抽出してちょっと加工して渡すみたいなことをするときに いい感じに加工するのによく使う関数をピックアップしておく。 データソース 基本は以下のリンクの中に関数があります。 Prestoの情報はあまり調べても出ないことも多いので、 ここを見ながら情報を探していくのが確実です。 SQL クエリ、関数、および演算子 CSVデータの読み込み Athenaのクエリ結果を一旦ローカルに落としたあとに、 CSVデータを読み込むと""も値として読み込まれてしまう。 例えば以下のようなデータを読み込む場合
Athena view と Terraform による宣言的データモデリングとレイクハウスへの道標 - Gunosyデータ分析ブログ
はじめに こんにちは、DR&MLOps*1 チームの楠です！ こちらの記事は Gunosy Advent Calendar 2021 の 13 日目の記事です。 昨日の記事は大曽根さんの『Gunosyの施策運用におけるインスティチューショナルメモリ』でした。 本日は、データ分析の民主化を促進するためのデータレイク上での分析用データマートとしての Athena view の利用方法と、IaC のための Terraform による宣言的な Athena view の定義方法をご紹介します！ はじめに 背景 前提知識: Athena における view Athena view の利点 利点1. SQL と view カタログ定義のみからなるので、データ転送ワークフローを組まなくてよい 利点2. テーブルのスキーマを容易に変更できる 利点3. よく利用する共通テーブル式をきちんとテーブルとして定義
Introducing Athenadriver: An Open Source Amazon Athena Database Driver For Go
You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Data analytics play a critical part in Uber’s decision making, driving and shaping all aspects of the company, from improving our products to generating insights that inform our business. To ensure timely and accurate analytics, the aggregated, anonymous data that power
Amazon AthenaのPartition Projectionを使ったALB Access Logの実例 (w/ terraform & glue catalog) - Gunosy Tech Blog
こんにちは、グノシー広告技術部、Adnwチームでマネージャーをやっているサンドバーグです！ この記事は Gunosy Advent Calendar 2020 18日目の物となります。 昨日はsyouitさんの変更に強いリスト面とUICollectionViewの話でした。 内容としては弊社のiOSアプリでUITableViewの代わりにUICollectionViewを使っている理由と利点でした。 自分はiOSの開発やアプリ開発自体には関わることがほぼないのですが、わかりやすい説明だったので、まだ読まれていない方は是非読んでください！ はじめに 使ったツール・サービス・機能 Terraform Amazon Athena Link Partition Projection Link ALB Access logs Link 実装 Terraform - バケット・バケットポリシーの作成
【レポート】Architecting and Building – ログデータ用のデータレイク＆分析環境をクイックに構築するには？ #AWSSummit | DevelopersIO
はじめに 皆さんこんにちは。石橋です。 2020年9月8日から9月30日までオンラインで視聴可能なクラウドカンファレンス、AWS Summit Online 2020が開催中です！！ 本エントリではライブセッション「AAB-03：Architecting and Building - ログデータ用のデータレイク＆分析環境をクイックに構築するには？」のレポートをお届けします。 概要 スピーカー アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 下佐粉 昭 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 野間 愛一郎 セッション概要 ログやデータベースに色々なデータが溜まっている。できればデータを集めて分析したいんだけど、どのようにすれば良いか分からない、という方も多いのではないでしょうか。本セッションでは、架空のお
データポータルを使用してAWS Athena,S3のデータを可視化する - RHYTHM TECH BLOG
こんにちは。香田です。 今回はAWS Athena,S3で参照しているデータに対して、データポータルのコミュニティコネクタを利用して可視化する方法を紹介していきます。 はじめに 今回利用するコミュニティコネクタとは、誰でも構築可能なコネクタとして提供されており、Google Apps Scriptを使用して開発さています。 コミュニティコネクタの作成方法等の詳細についてはこちらを参考にしてみてください。 今回コミュニティコネクタとして公開されている下記のGitHubリポジトリを利用して作成していきます。 AWS Athena Connector for Data Studio プロジェクト作成 はじめにGoogle Apps Scriptページへアクセスしプロジェクトを作成します。 [新しいプロジェクト]をクリックします。 プロジェクト名を無題のプロジェクトからAWS Athenaへ変更し
https://jawsug-bigdata.connpass.com/event/200841/ BigData-JAWS 勉強会#16 LT 資料 UZOUでのAthenaの設計の話はブログにも書いていますので興味があればぜひ https://tech.speee.jp/entry/2020/11/10/111154
GitHub - harunobukameda/Amazon-Redshift-Spectrum-AWS-Glue-Amazon-Athena-Amazon-S3-Select
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Amazon AthenaでAWS WAF XSS/SQLiの詳細ログをクエリしてみた #reinvent | DevelopersIO
こんにちは、臼田です。 みなさん、ログ分析してますか？(挨拶 AWS WAFでXSS/SQLiの詳細ログが出力されるようになったので、これをAmazon Athenaでクエリしてみました。詳細ログについては下記をご参照ください。 AWS WAFのログをAthenaで分析 AWS WAFのログはS3に保存されます。S3に保存されているデータを分析するにはAmazon Athenaを利用してクエリをかけるとやりやすいです。詳細は下記をご確認ください。 今回のログフィールドの追加に合わせてアップデートしました。 新しいCreate Table 上記記事も更新してありますが、新しいCreate Tableを書いておきます。 CREATE EXTERNAL TABLE IF NOT EXISTS waflogs ( `timestamp` bigint, formatVersion int, web
こんにちは。2020年9月にSpeeeにジョインしたデジタルトランスフォーメーション(DX)事業本部エンジニアの石井です。 先日、新入社員向けOSSイントロダクションでSpeeeのOSS活動がどのように行われているのかクリアコードの須藤さんから紹介していただきました。 その中で取り上げられている具体例のケース2が実は私なのですが、今回は私が取り組んだSpeeeでのOSS活動について実際の開発プロセスや雰囲気をお伝えできればと思います。 また開発の詳細については既にGoのAthena用database/sqlドライバーをOSSでリリースした話が公開されておりますのでそちらをご覧ください！ 入社後、須藤さんのOSS相談会に参加！ 入社後、早速須藤さんとOSS活動について相談させていただく機会がありました。新入社員向けOSSイントロダクションでも紹介されているように「OSSとは何か」といったお話
2023-10-18 JAWS-UG SRE⽀部 #7 AWSでゆるSRE︕LT⼤会 https://jawsug-sre.connpass.com/event/291843/
[小ネタ]AthenaでALBアクセスログ のtimestampのタイムゾーンの変換をする | DevelopersIO
AthenaではAT TIME ZONE オペレーターでTIMESTAMP型値のタイムゾーンを変更できます。 はじめに ALBのアクセスログなどタイムスタンプのタイムゾーンがUTCになっている場合は多くあると思います。頭の中で読み替えるのはそれほど難しくないのですが、量が多かったり、クエリの結果を共有する場合はタイムゾーンの変換をしたい場合があります。調べてみると簡単にタイムゾーンの変更ができたので、そのメモです。 前提 今回はALBのアクセスログをAthenaでクエリする場合を例に考えます。タイムスタンプのフォーマットやタイムゾーンはユースケースによって異なると思いますので、適宜読み替えてください。 タイムスタンプのパース ALBのログをAthenaでクエリする場合そのままではタイムスタンプ(timeカラム)は文字列型です。タイムゾーンの変換前にこれをTIMESTAMP型へパースする必要
![[小ネタ]AthenaでALBアクセスログ のtimestampのタイムゾーンの変換をする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/403c56e9014c7d88e1caa76de4dee5c9b8dece00/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-athena.png)
Identifying resources with the most configuration changes using AWS Config | Amazon Web Services
AWS Cloud Operations & Migrations Blog Identifying resources with the most configuration changes using AWS Config AWS Config tracks changes made to supported resources and records them as configuration items (CIs), which are JSON files delivered to an Amazon S3 bucket. These are delivered in 6-hour intervals, as configuration history files. Each file contains details about the resources that chang
Cost optimization in AWS using Amazon CloudWatch metric streams, AWS Cost and Usage Reports and Amazon Athena | Amazon Web Services
AWS Cloud Operations & Migrations Blog Cost optimization in AWS using Amazon CloudWatch metric streams, AWS Cost and Usage Reports and Amazon Athena You can use metric streams to create continuous, near-real-time streams of Amazon CloudWatch metrics to a destination of your choice. Metric streams make it easier to send CloudWatch metrics to popular third-party service providers using an Amazon Kin
実はSQL文が好きな鎌田です。 Athena、みなさんはもうご利用でしょうか。Athenaを使うとS3バケットの様々なログをSQLをかけて解析することができます。 今回は、VPC Flow LogsをAthenaで検索する方法をご紹介します。 VPC Flow LogsのログをS3に出力するように設定する まず、解析対象のVPC Flow LogsをS3に出力するように設定しておきます。 VPCの画面から、S3にログを出力したいVPCを選び、下のペインから「フローログ」のタグを選んで「フローログ」の作成をクリックします。 下記のような形で、フローログの設定をします。 アクセスログを吐き出すS3バケットは、空で良いので先に作っておきましょう。 ※この画面では作成できません S3バケットに書き込む必要なバケットポリシーは、自動でアタッチされます。 設定項目 設定値 フィルタ すべて Maxim
Amazon Athena を Apache Hive メタストアに接続し、ユーザー定義関数を使用する | Amazon Web Services
Amazon Web Services ブログ Amazon Athena を Apache Hive メタストアに接続し、ユーザー定義関数を使用する Amazon Athena は、標準 SQL を使用して Amazon S3 のデータを簡単に分析できるインタラクティブなクエリサービスです。Athena はサーバーレスであるため、インフラストラクチャの管理は不要であり、実行したクエリにのみ課金されます。この投稿では、現在プレビュー中である2つの新しい機能、Apache Hive Metastore への接続と、ユーザー定義関数の使用について詳しく説明しています。これらは本日から使い始めることができます。 Athena を自分の Apache Hive Metastore に接続する Hive Metastore を、自分のビッグデータ環境に共通のメタデータカタログとして使っているお客様が
AWS 公式オンラインセミナー: https://amzn.to/JPWebinar 過去資料: https://amzn.to/JPArchive Read less
Amazon QuickSightでAthenaからのデータ取得が権限エラーで失敗するので対処してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 今回は、Amazon QuickSightからAthenaに接続してデータを取得しようとすると権限エラーで失敗してしまったため対処方法を確認してみました。 データソースとなるAthenaの環境 Amazon QuickSightからデータソースとして接続しようとしたAthenaの環境は次のように作成しました。 データベース作成 CREATE DATABASE mydb テーブル作成 CREATE EXTERNAL TABLE IF NOT EXISTS mydb.mytable ( rank string, name string, attribute string ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES (
はじめに データ集計にAthenaを用いる場合、S3にアップしたファイルをGlueでデータベースとして作成 + Athenaからクエリをかける というやり方がありますが、データ量自体がそこまで大きくなかったり、手軽く実施したい場合に直接AthenaでS3のデータを元にテーブルを作成する手段もあります。 Amazon S3 のテーブルの場所 - Amazon Athena 公式ドキュメントにも詳細は記載されていますが、実際にやってみた内容を元に手順としてみました。 S3にファイルをアップする ファイルアップ用のbucketを追加します。 % aws s3api create-bucket --bucket BUCKET-NAME --region ap-northeast-1 --create-bucket-configuration LocationConstraint=ap-northe
AWS WAFログをAthenaで分析する環境をGlueクローラを使って構築してみる | DevelopersIO
AWS WAFのログをAthenaで分析するための環境（Glueデータカタログ）をGlueクローラを使って構築してみたので、そのやり方を紹介します。 AWS WAFのログをAthenaで分析する方法は、弊社のブログで公開されています。 AWS WAFのフルログをAthenaで分析できるようにしてみた | Developers.IO S3に保存した AWS WAFログを Athenaで分析してみる | Developers.IO どちらもAthenaのテーブル（Glueデータカタログ）を CREATE TABLE で構築しているので、本ブログでは Glueクローラ に焦点を当て、Glueクローラを使ってテーブルを構築する方法を紹介します。 Glueクローラで作ると何がうれしいのか？ AWS WAFのログであれば、すでに前述のブログでAWS WAFのログ形式に合わせたテーブルメタデータのCRE
はじめに 弊社では、ビッグデータ分析のためにAWSのクエリサービスAmazon Athenaをよく利用しています。 簡単に使い始めることができて、本当に便利なサービスです。 SQL on Hadoopでは、パーティション数が多くなりすぎるとクエリ実行時間が長くなるので、 「パーティションの数は多くとも1万個くらいに抑えましょう」という定石があります1。 一方、Athenaではクエリ実行時に、スキャンしたデータ量に応じて $5/1TB 課金されます。パーティションを細分化しておけば、スキャンするデータ量が削減できます。 結局のところ、パーティションをどれくらい細分化すれば良いかは、定石だけではわかりません。 さて、我々のシステムでは、次々と送られてくる発生するログをS3に配置し、EMRで日次ETL処理した結果をAthenaで分析・集計します。 クエリ対象期間は1週間固定であるにもかかわらず、
Amazon Athena now presents query execution plans to aid tuning
Amazon Athena users can now view the execution plan for their queries. When querying large, complex datasets, users are often unaware of how their query will be executed or how optimizations will impact performance. Now generally available for Amazon Athena, the EXPLAIN statement helps users understand and improve the efficiency of their queries. When used in the Athena console, the EXPLAIN statem
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
S3に保存した AWS WAFログを Athenaで分析してみる | DevelopersIO
Athenaでデータ抽出するときによく使う関数まとめ - Qiita
Athenaを使ったバッチ処理のTIPS
SpeeeでのOSS活動事例をご紹介します - Speee DEVELOPER BLOG
ALBのアクセスログをAthenaで分析してSLOをゆるく決める
Athenaを使ってVPC Flow Logsを解析する - サーバーワークスエンジニアブログ
20200617 AWS Black Belt Online Seminar Amazon Athena
軽めの集計操作をS3+Athenaで完結させてみる | DevelopersIO
Athenaでパーティション数が増えた時のパフォーマンスを計測してみた。 - Qiita
tech-teacher.jp
www.nhk.jp
youtu.be
trilltrill.jp
greathealingeffect.hateblo.jp
www.tokyo-np.co.jp