AWS AthenaでCloudTrailのS3オブジェクトログを解析をしてみました！ | DevelopersIO
モバイルアプリサービス部の五十嵐です。 はじめてAthenaを使ってみたところクエリで苦戦して社内のメンバーに助けてもらったので、きっと他にも困っている人がいるだろうと思い記事にまとめました。 目的 これまでS3オブジェクトの操作ログは、S3のログ記録機能を使い、S3に出力されたログをLambdaからElasticsearch Serviceに登録し、Kibanaで参照していました。（以下は関連記事。） S3の操作ログをLambdaを経由してElasticsearchに送る方法 ｜ Developers.IO AmazonS3のサーバーアクセスログを解析 〜 最終版 ｜ Developers.IO 今回は、上記の仕組みを「CloudTrailのS3オブジェクトログ＋Athena」に置き換えが可能かどうかを検証してみました。 ちなみに、CloudTrailのS3オブジェクトログも最近追加され
(レポート) BDT209: リアルタイムデータ分析および可視化のためのAmazon Elasticsearch Service #reinvent | DevelopersIO
こんにちは、虎塚です。 re:Invent 2015で「BDT209 - NEW LAUNCH! Amazon Elasticsearch Service for Real-time Data Analytics and Visualization（日本語タイトル: リアルタイムデータ分析および可視化のためのAmazon Elasticsearch Service）」を聴講したのでレポートします。発表されたのは、Jon HandlerさんとPravin Pillaiさんで、いずれもAWSの方でした。 Amazon Elasticsearch Serviceは先日リリースされたばかりの新サービスです。 このセッションで扱うこと 前提となるコンテキスト: 増大するデータを管理する Amazon Elasticsearch Service (Amazon ES)の紹介 Amazon ESを利用す
fluentd elasticsearch 送信と受信でログ行数に差異がある時 - Qiita
かなり、感覚的な表現で申し訳ないですが参考程度に。。。。orz fluent plugin elasticsearch で detached forwarding server とかゆー送信サーバでエラーが出て retryとか勝手に何回かされると ログが重複する。。。orz 300万行ぐらい送って、elasticsearch側では330万行ぐらいになってた。。。orz fuluentdのバッファメモリをバッファファイルへ変更 ・送信先のバッファファイルが3個以上になったら送信を待つ ・送信元のバッファファイルが2個を超えたら処理を待つ みたいな監視をこさてゆっくりゆっくりと送ってあげる。 送信元のfluentDのchank limitあたりを調整 300万行を90分かけて送ってあげたらドンピシャだったぜ。 【追記】 fluentDが買ってにリスタートしやがった。 しかも送信行数と受信行数に
『CentOSへのelasticsearchのインストール方法』
elasticsearchのインストールの手順メモ ○環境 ・Oracle Virtual Box ・Cent OS6.5 ○準備 1. javaがインストールされていること * インストールされていない場合はインストールを実施 以下はyumでインストールする例 # yum search jdk # yum install java-1.7.0-openjdk.x86_64 # yum list installed | grep jdk java-1.7.0-openjdk.x86_64 ○手順 以下のダウンロードページ http://www.elasticsearch.org/overview/elkdownloads/ では、zipやtar形式でも配布されているが、 以下ではrpmでインストールした場合の手順とする。 ①インストール用のディレクトリを作成 ここでは /opt/elast
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
