Announcement: ELB stickiness updates to support Feb 2020 Chromium CORs changes
You have been redirected here because the page you are trying to access has been archived. AWS re:Post is a cloud knowledge service launched at re:Invent 2021. We've migrated selected questions and answers from Forums to AWS re:Post. The thread you are trying to access has outdated guidance, hence we have archived it. If you would like up-to-date guidance, then share your question via AWS re:Post.
Spark StreamingからAmazon Kinesis Analyticsへ移行する話 - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の森本です。主な業務は記事配信アルゴリズムの改善とログ基盤の整備です。 Gunosyでは、ユーザーへより良い記事を提供するためにアクセスログをストリーム処理し、集計結果を記事配信アルゴリズムに活用しています。 ストリームログ基盤にはSpark Streamingを利用していますが、現在Kinesis Analyticsへ移行中です。 この記事ではKinesis Analyticsへ移行する理由や運用上のTips等についてお話します。 Spark Streamingを利用したストリームログ基盤構成 現在のストリームログ基盤はSpark Streamingで集計を行い、結果をRDSに保存しています。 なぜSpark StreamingからKinesis Analyticsへ移行するのか サーバーコストと運用コストの削減を目的としています。 サーバーコストについ
Apache Kafka vs Amazon Kinesis to Build a High Performance Distributed System
Apache Kafka vs Amazon Kinesis to Build a High Performance Distributed System At Keen IO, we’ve been running Apache Kafka in a pretty big production capacity for years, and are extremely happy with the technology. We also do some things with Amazon Kinesis and are excited to continue to explore it. For any given problem, if you’ve narrowed it down to choosing between Kinesis and Kafka for the solu
Amazon Kinesis StreamsのリシャーディングがAPI一発で行えるようになりました | DevelopersIO
Amazon Kinesis Streamer の皆様こんにちは。 リシャーディングのあまりの面倒くささから、ピークに合わせてシャード数を固定してストリーム運用したり、シャード数変更の際は同じ名前でシャード数だけ変えて作り直してきたという方が多いのではないでしょうか。 2016/11/16のサービスアップデートにより、ストリームのリシャーディングが API 一発で実行出来るようになりました。 トラフィックに合わせてシャード数をダイナミックにオートスケールさせるなど、夢広がる API です。 早速試してみました。 旧方式のリシャーディング:SplitShard API 編 Amazon Kinesis Streams のストリームはシャードを束ねたものであり、シャード1本辺りの性能上限が決まっているため、ストリームのキャパシティを増やしたければ、シャード数を増やすことになります。 AWS B
［レポート］サーバレスアーキテクチャで実現した『M-1グランプリ2015』敗者復活戦投票システム #AWSRoadshow | DevelopersIO
［レポート］サーバレスアーキテクチャで実現した『M-1グランプリ2015』敗者復活戦投票システム #AWSRoadshow はじめに こんにちは、中山です。 2016年11月22日(火)ハービスホールにて行われたAWS Cloud Roadshow 2016 大阪に参加してきました。本エントリでは15:00から導入事例トラックで発表されたサーバレスアーキテクチャで実現した『M-1グランプリ2015』敗者復活戦投票システムというセッションの内容についてレポートしたいと思います。 資料 ※ 資料がアップされ次第反映いたします。 スピーカー 小南 英司さま 朝日放送株式会社 技術局 開発部 サーバサイドからアプリ開発まで幅広く担当 アジェンダ 朝日放送について M-1グランプリ敗者復活戦について 開発当時の状況 システムの概要 サーバーレスアーキテクチャを採用した理由 Kinesis/Kines
KafkaとAWS Kinesisの比較
This document compares Apache Kafka and AWS Kinesis for message streaming. It outlines that Kafka is an open source publish-subscribe messaging system designed as a distributed commit log, while Kinesis provides streaming data services. It also notes some key differences like Kafka typically handling over 8000 messages/second while Kinesis can handle under 100 messages/second.
Amazon Kinesis Streamsのサービス制限について | DevelopersIO
Amazon Kinesis Streamsを構築・運用すると、思いもかけないサービス制限に遭遇することがあります。 本日は2016年05月時点でのサービス制限についてご紹介します。 シャード数上限 東京リージョンの場合、リージョンあたりのシャード数のデフォルト上限値は25です。 この値はストリームごとのシャード数ではなく、リージョンごとのシャード総数です。 例えば、シャード数上限25のリージョンで、シャード数10のストリームを1個作成している場合、新規ストリームのシャード数上限は25−10＝15です。 また、ACTIVE(=データを新規に受け付ける)シャードだけが上限対象としてカウントされます。 例えば、シャード数10のストリームをシャード分割してシャード数20にする場合、 ACTIVE シャード : 20 CLOSED シャード : 10 となりACTIVE/CLOSEDなシャード総数
Kinesis vs-kafka-and-kafka-deep-dive
Sep 25, 201528 likes13,068 viewsAI-enhanced description This document provides a summary of Amazon Kinesis and Apache Kafka, two platforms for processing real-time streaming data at large scale. It describes key features of each system such as durability, interfaces, processing options, and deployment. Kinesis is a fully managed cloud service that provides high durability for data across AWS avail
API Gateway / Lambda / Kinesis を使ったストリーミングなバッチ実行基盤の実装
AWSモバイル/IoTサービス徹底攻略！！ http://classmethod.connpass.com/event/22060/ 2015年11月21日（土）
CloudWatch Logs Subscriptionsを利用したZabbixへのログ転送｜Developers.IO
はじめに 先日、CloudWatch Logs Subscriptionsという新機能の発表がありました。 CloudWatch Logsに記録されたログイベントをリアルタイムにKinesisへ投入する機能です。 これまでは、ログイベントを取得する場合、CloudWatch LogsのGetLogEvents APIにアクセスし一括でログを取得するしかありませんでした。 そして、このGetLogEvents APIには1アカウントあたり秒間10リクエストまで(上限緩和可)という制限があり、多くの種類のログを常に取得し続けたい場合は注意が必要でした。 今回、CloudWatch LogsからKinesisにログイベントを投入可能になったことにより、Kinesisストリームをポーリングするだけで常に最新のデータを取得できるようになりました。 また、KinesisはLambdaのイベントソースと
JAWS-UG CLI #22 Amazon Kinesis
Jun 17, 2015Download as PPTX, PDF10 likes1,952 views
KinesisかS3か
Kinesisを触ってはみたものの、特別「これは使いやすい！」という印象ではなかった。 Kinesisの用途は要するに AWSにガンガンデータを送る AWS側では、送られてきたデータを片っ端から処理する AWS側に着いたデータは処理しようがしまいが一定期間(現在は24時間)で消える というもの。 しかし、AWSへの送信は単純にHTTPSのPOSTリクエストであり、さらにBase64エンコードされているということで特に効率的な方法ではない。むしろ効率をまったく考慮しておらず、シンプルさ、扱いやすさに徹している。 HTTPSのPOSTリクエストであるにも関わらずサイズ上限(現在は50KB)がきついので、小さなデータを送る用途に限定される。 個人的に数十～百台程度のサーバからAWSへのログの集約(Log Aggregation)を計画しているのだが、Kinesisの用途にぴったりか？と考えた一方
Amazon Kinesisのレコードにタイムスタンプ属性が追加されました | DevelopersIO
ども、大瀧です。 昨日、Amazon Kinesisのアップデートがありレコードにタイムスタンプ属性が追加されました。 Amazon Kinesis Server-side Timestamp レコードのApproximateArrivalTimestamp属性にKinesisがレコードを受信したおおよその時刻がUNIXタイムスタンプの形式で含まれます。AWS CLIでGetRecordsをコールしてみました。 $ aws kinesis get-shard-iterator --stream-name OtakiTest --shard-id shardId-000000000000 --shard-iterator-type TRIM_HORIZON XXXXXXXXXX $ aws kinesis get-records --shard-iterator XXXXXXXXXX { "
Streaming Petabytes of Data in Realtime with Kinesis - NextRoll
AdRoll’s real-time data pipeline drives many systems crucial to our business. These systems inform the decisions made by our real-time bidding infrastructure in response to the tens of billions of daily requests we receive from ad exchanges. They also refresh our predictive models, guard against overspend, and deliver up to the minute campaign metrics through our dashboard. To function properly th
Amazon Kinesis Update – Simplified Capture of Streaming Data | Amazon Web Services
AWS News Blog Amazon Kinesis Update – Simplified Capture of Streaming Data Amazon Kinesis is a managed service designed to handle real-time streaming of big data. It can accept any amount of data, from any number of sources, scaling up and down as needed (see my introductory post for more information on Kinesis). Developers can use the Kinesis Client Library (KCL) to simplify the implementation of
Amazon Kinesis: Real-time Streaming Big data Processing Applications (BDT311) | AWS re:Invent 2013
Amazon Kinesis: Real-time Streaming Big data Processing Applications (BDT311) | AWS re:Invent 2013 "This presentation will introduce Kinesis, the new AWS service for real-time streaming big data ingestion and processing. We’ll provide an overview of the key scenarios and business use cases suitable for real-time processing, and how Kinesis can help customers shift from a traditional batch-oriented
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Black Belt Tech シリーズ 2015 - Amazon Kinesis
S3、Kinesis/DynamoDB StreamsでのLambdaリトライ処理 - Qiita
amazon-kinesis-producer/aggregation-format.md at master · awslabs/amazon-kinesis-producer
Amazon Kinesis Data Streams