AWS WAFとLambda@edgeで理想のフルログはできるのか - セキュアスカイプラス
はじめに はじめまして、事業開発部と研究開発部に属している宇田川です。 AWS関連の新機能や新サービスに都度都度熱狂しておりますが、最近もっとも熱狂したニュースはこちら。 AWS WAF の包括的なログ記録機能が新たに利用可能に 早速、調査！ だが、しかし、POSTリクエストのBodyは記録されず… 私が欲しい理想のフルログは、POSTリクエストのBodyのデータも出力されているログ。 で無ければ、AWS WAFで検知したとしても、正常な検知なのか誤検知なのか判断できません。 駄目なのか。。。 諦めかけていたそのとき、希望の光 Lambda@Edgeでrequest bodyが取得可能となりました！！ Global Data Ingestion with Amazon CloudFront and Lambda@Edge そこで思い立つ AWS WAFとLambda@edgeをCloudF
現場で運用する視点から見た Amazon Athena - Qiita
個人的なプロジェクトも含め、いくつかの現場で Amazon Athena について触れる機会があったので、個人的に思うところについて記載します。 数時間で書いた雑な文章ですが、ご了承ください。 なお、先日リリースされた Amazon Athena API については以下の Qiita に first impression をまとめているので、 API 以外の話題について書きます。 Amazon Athena の API を使ってみた (2017/05) データの設計について Amazon Athena は managed な Presto 環境で、 事前に Presto サーバーの立ち上げなどリソース確保を行わなくても良い データについても、S3 にファイルをアップさえすれば、後付でいかようにでもデータの解析が出来る という手軽さを売りにされています。 これは利点としていっさい間違いではな
Amazon Athena のパフォーマンスチューニング Tips トップ 10 | Amazon Web Services
Amazon Web Services ブログ Amazon Athena のパフォーマンスチューニング Tips トップ 10 2020/10/13 に、原文の更新に合わせて最新のバージョンにアップデートしました Amazon Athena は、S3 に保存されたデータに対して標準 SQL で簡単に分析を行える、インタラクティブクエリサービスです。Athena はサーバーレスのためインフラ管理の必要がなく、また実行したクエリのぶんだけ料金を支払うかたちになります。Athena は簡単に使えます。Amazon S3 上のデータに対してスキーマを定義し、標準 SQL でクエリを投げるだけです。 このブログポストでは、クエリパフォーマンスを改善するための 10 個の Tips をご紹介します。Tips には、Amazon S3 に置かれたデータに関するものと、クエリチューニングに関するものがあ
【新機能】Amazon QuickSightがAmazon Athenaをサポート！ | DevelopersIO
こんにちは、大雪で飛行機が欠航になって自宅でブログを書いているせーのです。今日は出たばかりの新サービス「QuickSight」の新機能のご紹介です。 QuickSightとAthena QuickSightは様々なデータを簡単な操作でグラフとして表示できるBIツールです。このブログを見ている方はちょうどQuickSightのアドベントカレンダーをやっていたのでよく目にしているサービスかと思います。QuickSightを使うとこんなグラフが書けます。 カラフルでいい感じですね。 一方AthenaはS3に入っているデータを標準SQLを使って分析することができるサービスです。Athenaにテーブルを作り、S3のバケットを指定してSQLを流すと欲しいデータが引っかかります。つまり、S3にとにかく何も考えずにデータを投げ込んでおいて、後でAthenaを使って必要なデータだけを拾い上げていく、という方
AWS AthenaとGCP BigQueryにデータぶっこんで比べてみた ～BIツールも添えて～ - Qiita
はじめに 今年もお世話になりました。 gloops Advent Calendar 2016の 15日目担当インフラエンジニアの河村です 14日目は @s_yamada さんの 家系ラーメンで学ぶ新規ゲームの企画書 でした ラーメンが食べたくなる投稿ですね 九州出身ってこともあり基本とんこつラーメンしか食べません 飲みのあとの締めのラーメンはやめました！ -> 今回の目的 re:iventでAWSの新機能がわんさか発表されましたが リリース直後はパツパツで触れてなかったので 少し触ってみました 対象のサービスは以下の2つ Amazon Athena（以下、AWS Athena） Google BigQuery（以下、GCP BigQuery） 「AWS re:invent 2016」で発表された 新サービスです Amazon Athena S3においているデータに対して 標準SQLを用いて
S3のデータをAmazon Athenaを使って分析する | Amazon Web Services
Amazon Web Services ブログ S3のデータをAmazon Athenaを使って分析する Amazon Athenaは対話型クエリサービスで、標準的なSQLを使ってAmazon S3の直接データを直接分析することを簡単にしてくれます。Athenaはサーバレスなので、インフラを構築したり管理する必要はなく、今すぐにデータ分析を始めることができます。Athenaはデータをロードしたり、複雑なETL処理をする必要すらありません。S3に保存されているデータに直接クエリすることができます。 Athenaは、クエリを実行する際に分散SQLエンジンのPrestoを利用しています。また、テーブルを作成、削除、変更、パーティションするためにApache Hiveも利用しています。Hive互換のDDL文や、ANSI SQL文をAthenaクエリエディタ内で書くことができます。複雑なJOINやウ
re:dashからAmazon Athenaにクエリを投げる - Qiita
2016/12/01に、Amazon S3上のデータにアドホックにSQLクエリを投げられるサービスであるAmazon Athenaがリリースされました。 Athenaの概要に関しては以下をどうぞ。 Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを Amazon Athenaを使ってみました #reinvent Amazon AthenaをBigQueryと比較してみた 自分で軽く使ってみた感じだと、SaaSなので管理コストが低い上にクエリのパフォーマンスもかなり良く、非常に可能性を感じるサービスだという印象です。 というわけでAmazon Athenaをもっと使っていきたいので、OSSのBIツールであるre:dashからAmazon Athenaにクエリを投げられるようにしました。皆さんも良かったらやってみてください。 コメント欄にもありますが、re:d
AWS Athena雑感 - Go ahead!
Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる． 実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，Airbnb，Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので，拡張性，パフォーマンス，安定性で選ばれたのだろうと思われる．あとAWS的にJavaの方が相性は良さそう． パフォーマンス いくつかの記事で言及されている． Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - dbcli/athenacli: AthenaCLI is a CLI tool for AWS Athena service that can do auto-completion and syntax highlighting.
ぼくがAthenaで死ぬまで