Amazon Kinesis / S3 / SQS の導入を比較検討して分かったそれぞれの特徴 ｜ SiTest (サイテスト) ブログ
2-1. 経緯 トラフィックのコストパフォーマンスを良くする為のプロジェクトが立ち上がりました。 トラフィック自体を捌く事自体は以下のような手段を駆使することで可能です。 ・サーバーの台数を増やす ・サーバーをより上位のプランに変更する Amazon EC2 はどちらも簡単に実現できますので特に問題視はしてませんが、 現在進行形で増え続けているコストを減らすためには別の手段を考える必要があります。 2-2. 現状分析 SiTest プロジェクト始動時は開発速度を重視するために、 設定より規約を重視するCakePHPというフレームワークを選択していました。 CakePHPの挙動は素直で開発しやすく不満はないのですが、高トラフィックを捌くことが苦手です。 そもそもサーバーサイドとして選択しているPHP自体の問題である程度までしか処理能力が出ません。 Web Framework Benchmar
【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ | DevelopersIO
【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「データ変換機能」です。所謂ETL(Extract、Transform、Load）処理と言われるもので、流れてくるデータを使いやすい形に加工した上で対象となるデータベースやデータレイクに書き出すものです。 例えばApacheのログデータをS3に蓄積しておいて、後ほど分析に使いたいとします。Apacheのログってこんな感じですよね。 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0
DynamoDB Streamのデータをsocket.ioを使ってブラウザに流す - Qiita
やること TwitterのストリームデータをKinesisを経由してDynamoDBに保存します。 DynamoDB Streamにデータを流し、ブラウザでストリームデータを可視化する 構成図 Twitter Stream → Kinesis → DynamoDB AWS Lambda Reference Architecture: Real-time Stream Processing awslabsのアカウントにそのままやりたいことがありました。動かすとKinesisにデータを流して、キャプチャの通りDynamoDBにデータを保存してくれます。 DynamoDB → DynamoDB Stream → Lambda → SNS http Notification DynamoDB Streamの有効化 キャプチャの箇所からDynamoDB Streamを有効化します トリガーを有効化し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kinesis Advantage2【キネシス アドバンテージ2・茶軸/赤軸静音】 [KB600 / KB600LFQ]-エルゴノミクスショップ![Kinesis Advantage2【キネシス アドバンテージ2・茶軸/赤軸静音】 [KB600 / KB600LFQ]-エルゴノミクスショップ](https://cdn-ak-scissors.b.st-hatena.com/image/square/131a71fcca9293f81f4b5e441199596a72f2aff6/height=288;version=1;width=512/https%3A%2F%2Fmakeshop-multi-images.akamaized.net%2Fergonomics%2Fitemimages%2F000000000044_19Idr1N.jpg)
