【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ | DevelopersIO
こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「データ変換機能」です。所謂ETL(Extract、Transform、Load）処理と言われるもので、流れてくるデータを使いやすい形に加工した上で対象となるデータベースやデータレイクに書き出すものです。 例えばApacheのログデータをS3に蓄積しておいて、後ほど分析に使いたいとします。Apacheのログってこんな感じですよね。 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 この状態でS3に入っていた場合、分析に使うには一旦このデータをどこかのサーバに取り出し、分析用に加工して、もう一度データを貯め直す必要があります
イーライセンスシステムズ、AWSから大量アクセスできる負荷テストサービスを開始
イーライセンスシステムズは2013年3月29日、Webサイトのレスポンスを計測してボトルネック分析レポートなどを提出するサービス「CloudBench」（写真）を提供開始した。サービスの特徴は、AWS（Amazon Web Services）のインスタンスを複数立てて、ここから大量のWebアクセス負荷をかけられる点である。 AWS上の仮想マシン群からユーザーのWebサイトにアクセスしてレスポンスを計測する。負荷テストツールとしてオープンソースの「Apache JMater」を使う。同時アクセス数を段階的に増やしながらレスポスなどを計測することで、性能のボトルネックなどが分かる。これにより、Webサイトのチューニングやサイジング（容量設計）に役立つ。 いくつかのサービスメニューを用意している（価格は税別）。性能測定の対象となるWebサーバーを3台までに限定した基本サービスは、10万円で提供す
Amazon ELBをうまくつかうには、KeepAliveを有効にしよう。Timeoutは60秒よりだいぶ長くしよう。その背景。
Amazon ELBをうまくつかうには、KeepAliveを有効にしよう。Timeoutは60秒よりだいぶ長くしよう。その背景。 鯖管のメモ帳: AWSのELBでHealthyHostCountが0になるという記事の中で ■AWSのELBとApacheを使う際の注意点 ・Timeoutは120以上が推奨 ・ApacheのKeepAliveは有効にすべし。ELBとの接続効率があがる。 という形ですでにやるべきことは書いてあるのが、なぜそうなるか。。(いそがしい人は後は読まなくてok！) 根本的な理由としては、ELBはTCPを単にリレーしているのではなくて、アプリケーションレイヤのプロキシであることによるものが大きい。ELBはバックエンドのEC2との間で無通信の場合でも60秒はセッションを維持する。 ELBはTCP Persistent Connectionを提供し、webサーバとの間のTCP
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
