Amazon Kinesis Video StreamsのWebRTC対応まとめ + 1対1の低遅延なビデオ通話を試してみる - Qiita
はじめに この記事は DMMグループ Advent Calendar 2019 15日目の記事です 今年DMM.comに新卒入社した @k0bya4 です 現在はWebRTCを利用したライブ配信サービスで主にサーバサイドの開発をしています 今回は、先日発表されたAmazon Kinesis Video StreamsのWebRTCサポートについて個人的に試してみたことについてまとめます サービスの概要 Amazon Kinesis Video Streams Amazon Kinesis Video Streams を使用すると、分析、機械学習 (ML)、再生、およびその他の処理のために、接続されたデバイスから AWS へ動画を簡単かつ安全にストリーミングできるようになります。Kinesis Video Streams は、数百万ものデバイスからの動画のストリーミングデータを取り込むために
Amazon Kinesis Video Streams に、HLS 出力ストリームのサポートを追加 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Video Streams に、HLS 出力ストリームのサポートを追加 Amazon Kinesis Video Streams (KVS) 用の HTTP Live Streams (HLS) に、新しい出力機能が追加されました。今日は、それをデモンストレーションしてみようと思います。KVS をよくご存知でないなら、Jeff が こちらのリリースで取り上げていますので、ご参照ください。このリリースは 2017 年の AWS re:Invent のためのものです。簡単に言うと、Amazon Kinesis Video Streams は、1 台あるいは数百万台のデバイスから、アナリティクスや機械学習用の動画を安全にキャプチャ、処理、および保存するサービスです。家庭用オートメーションやスマートシティと言ったものから
Optimize Delivery of Trending, Personalized News Using Amazon Kinesis and Related Services | Amazon Web Services
AWS Big Data Blog Optimize Delivery of Trending, Personalized News Using Amazon Kinesis and Related Services August 30, 2023: Amazon Kinesis Data Analytics has been renamed to Amazon Managed Service for Apache Flink. Read the announcement in the AWS News Blog and learn more. This is a guest post by Yukinori Koide, the head of development for the Newspass department at Gunosy. Gunosy, in their own
Kinesis Firehose & s3 & Athenaでビッグデータ処理！ - Qiita
背景 ユーザーから送られてきた大量の位置情報ログをpostgresqlに保存するのがつらくなってきたのでs3に投げて処分するようにしたい。 けれどもfluentdを入れたaws-ec2をログアグリゲータにしてスケールさせるのは面倒。 けれども、実証実験や営業資料の作成のニーズが多いためs3に投げたログは引き続きRDBMSのような何かで気軽に検索＆集計できるようにしたい。 構成 以下のように、サービスから投げたログをKinesisFirehoseが受け取ってs3に保存し、Athenaで検索するようにしました。 実装とハマりどころ KinesisFirehose ログ処理に特化したサービスで、流し込んだデータを塊にし圧縮してredshift、s3、elastic searchのいずれかに投げることができる。特徴は負荷に応じた同時実行数やインスタンス数の上限等を調整する必要がなく、使用者がスケー
Spark StreamingからAmazon Kinesis Analyticsへ移行する話 - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の森本です。主な業務は記事配信アルゴリズムの改善とログ基盤の整備です。 Gunosyでは、ユーザーへより良い記事を提供するためにアクセスログをストリーム処理し、集計結果を記事配信アルゴリズムに活用しています。 ストリームログ基盤にはSpark Streamingを利用していますが、現在Kinesis Analyticsへ移行中です。 この記事ではKinesis Analyticsへ移行する理由や運用上のTips等についてお話します。 Spark Streamingを利用したストリームログ基盤構成 現在のストリームログ基盤はSpark Streamingで集計を行い、結果をRDSに保存しています。 なぜSpark StreamingからKinesis Analyticsへ移行するのか サーバーコストと運用コストの削減を目的としています。 サーバーコストについ
Amazon Kinesis AnalyticsとES/Kibana4でリアルタイムダッシュボード構築 - Gunosyデータ分析ブログ
こんにちは。開発・運用推進部の小出です。 猫にイヤホンを噛み切られること数回、最近のBGMはもっぱら環境音です。 「耳からうどんが出ているようにしか見えない」という噂のBluetoothイヤホンが気になっています。 今回は、Amazon Kinesis AnalyticsとElasticsearch/Kibana4を利用したリアルタイムダッシュボード構築についてです。 Amazon Kinesis Analytics とは ダッシュボードを構築してみる Source StreamとMapping Query Destination ログデータを拡充する Reference DataとMapping Query Destination まとめ おまけ：AmazonES&Kibana4のダッシュボード共有 Amazon Kinesis Analytics とは Amazon Kinesis A
AWS Solutions Architect ブログ
SA岩永( @riywo )です。AWSのプリンシパルSAのIan MeyersがAWS Big Data Blogに非常に興味深い投稿をしていたので翻訳しました。 特にAmazon Kinesis Streamsを既に使われている方は、Amazon Kinesis Streams to Amazon Kinesis Firehose Forwarderを使うだけでそのストリームをAmazon S3に保管したりAmazon Redshiftにロードする流れがサーバレスに構築できるので強くオススメできます。 使ってみて疑問質問等ありましたら、遠慮無く私までご連絡下さい(日本語で大丈夫です！)。 Amazon Kinesis Streamsへのデータ送信の必要があるアプリケーションの開発をシンプルにするために、昨年我々はAmazon Kinesis Producer Library (KPL)
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 2016/06/03(金)のAWS Summit Tokyo 2016でクックパッド株式会社の星さんが「秒間数万のログをいい感じにするアーキテクチャ」という発表をされました。 クックパッドのログ収集基盤が Fluentd や Amazon Kinesis Streams や Redshift を活用していい感じするアーキテクチャが参考になった方は非常に多いと思います(あの規模のサービスに関わるかはともかく)。 発表の中でKinesis Producer Library(以下 KPL)を使ってログ数多すぎ問題を解決したことが語られていました。 個人的には、Kinesis Streams のシャード数を増やせばどうにかなるレベルのサービスしか担当したことがない
ログ管理のベストプラクティス
This document provides an overview and agenda for an AWS webinar on AWS Glue. It introduces AWS Glue as a fully managed and serverless ETL service that can manage metadata for various data sources. The webinar will cover the background of AWS Glue, its key features including being serverless and enabling secure development in notebooks, use cases, pricing, and a conclusion. It also provides detail
Amazon Firehose - Streaming Data Pipeline - Amazon Web Services
Easily capture, transform, and load streaming data. Create a delivery stream, select your destination, and start streaming real-time data with just a few clicks. Automatically provision and scale compute, memory, and network resources without ongoing administration. Transform raw streaming data into formats like Apache Parquet, and dynamically partition streaming data without building your own pro
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSマネージドサービスをフル活用したヘルスケアIoTプラットフォーム
https://d0.awsstatic.com/events/jp/2017/summit/slide/D4T3-2.pdf
Speed matters - Amazon Kinesis が実現するストリーミングデータのリアルタイム分析（日本語）｜AWS Summit Tokyo 2017
GitHub - awslabs/amazon-kinesis-producer: Amazon Kinesis Producer Library
AWS Black Belt Online Seminar 2016 AWS上でのリアルタイムデータ分析入門
Optimize Spark-Streaming to Efficiently Process Amazon Kinesis Streams | Amazon Web Services