kazu_0のブックマーク / 2017年6月21日

Kinesis Firehoseを使用してApache WebログをAmazon Elasticsearch Serviceに送信する | Amazon Web Services
Amazon Web Services ブログ Kinesis Firehoseを使用してApache WebログをAmazon Elasticsearch Serviceに送信する Elasticsearch、Logstash、および、Kibana（ELK）スタックを所有して運用する多くのお客様が、他の種類のログの中でもApache Webログを読み込んで可視化しています。 Amazon Elasticsearch Serviceは、AWSクラウドにElasticsearchとKibanaを提供しており、セットアップと運用が簡単です。 Amazon Kinesis Firehoseは、Amazon Elasticsearch ServiceにApache Webログ（またはその他のログデータ）をサーバーレスで確実に配信します。 Firehoseを使用すると、Firehose内のレコードを
kazu_0 2017/06/21
AWS

Kinesis Firehose
リンク
Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services
Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon
kazu_0 2017/06/21
aws

Athena
リンク
Analyzing VPC Flow Logs using Amazon Athena, and Amazon QuickSight | Amazon Web Services
AWS Big Data Blog Analyzing VPC Flow Logs using Amazon Athena, and Amazon QuickSight February 2, 2022: Blog updated by Chaitanya Shah. February 9, 2024: Amazon Kinesis Data Firehose has been renamed to Amazon Data Firehose. Read the AWS What’s New post to learn more. Organizations of different size who migrate their applications in cloud or applications born in cloud makes use of various cloud ser
kazu_0 2017/06/21
AWS

Kinesis Firehose
リンク
- 2017年6月22日
- 2017年6月21日
- 2017年6月19日