並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 34 件 / 34件

新着順 人気順

Amazon Kinesisの検索結果1 - 34 件 / 34件

  • Summary of the Amazon Kinesis Event in the Northern Virginia (US-EAST-1) Region

    November, 25th 2020 We wanted to provide you with some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on November 25th, 2020. Amazon Kinesis enables real-time processing of streaming data. In addition to its direct use by customers, Kinesis is used by several other AWS services. These services also saw impact during the event. The trig

      Summary of the Amazon Kinesis Event in the Northern Virginia (US-EAST-1) Region
    • Amazon ConnectとKinesis Video Streamsを利用した音声データの録音と保存(「留守番電話」や「AIチャットボット」で利用) | DevelopersIO

      はじめに Amazon Connectでエージェントが介在しない「留守番電話」や「AIチャットボット」で録音したい場合、Kinesis Video Streams(以降、KVS)経由でAWS Lambdaを使い音声データの録音と保存する方法をまとめました。 Amazon Connectでは、下記のコンタクフローのブロックで録音できますが、録音条件は、顧客とエージェントが繋がってからのみ録音されます。 エージェントが介在しない、「留守番電話」やAmazon Lexと組み合わせた「AIチャットボット」の場合、録音機能は利用できません。 解決策として、コンタクフロー内で「メディアストリーミングの開始」というブロックを利用し、KVSにメディアデータを保存できます。ここで注意が必要なのは、保存されたメディアデータがMatroska(MKV)形式となるため、一般的な形式であるWAVなどの形式に変換する

        Amazon ConnectとKinesis Video Streamsを利用した音声データの録音と保存(「留守番電話」や「AIチャットボット」で利用) | DevelopersIO
      • Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity | Amazon Web Services

        AWS News Blog Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity Today we are launching Amazon Kinesis Data Streams On-demand, a new capacity mode. This capacity mode eliminates capacity provisioning and management for streaming workloads. Kinesis Data Streams is a fully-managed, serverless service for real-time processing of streamed data at a massive scale. Ki

          Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity | Amazon Web Services
        • Amazon Connectのフローでの離脱箇所と放棄呼をKinesis Data Streamsを用いて取得し、DynamoDBに保存してみた | DevelopersIO

            Amazon Connectのフローでの離脱箇所と放棄呼をKinesis Data Streamsを用いて取得し、DynamoDBに保存してみた | DevelopersIO
          • Amazon ConnectとKinesis Video Streamで通話を録音時、Lex を利用し発話終了のタイミングで録音を自動停止(無人対応) | DevelopersIO

            はじめに Amazon Connectの無人対応で、Kinesis Video Stream(KVS)で通話を録音時、プッシュボタンでなく発話終了のタイミングで録音を停止させる方法をまとめました。 Amazon Connectの無人対応において、通話をKVSで録音する場合、ユーザーが話した後、プッシュボタンを押すことで録音を終了する方法があります。 この方法のコンタクトフローは、以下の通りです。 ユーザーが発話する ユーザーが発話を終了した後、プッシュボタンを押して録音を終了する 以下の記事では、この方法を使用して、顧客の一次対応を無人で行っています。 ただし、ユーザーがプッシュボタンを押すのはユーザーにとって負担がかかります。今回は、ユーザーが発話を終了させたら、自動で録音を終了する方法が見つけたので、その手順をまとめます。 ちなみに、プッシュボタンではなく、時間経過で録音を終了させる方

              Amazon ConnectとKinesis Video Streamで通話を録音時、Lex を利用し発話終了のタイミングで録音を自動停止(無人対応) | DevelopersIO
            • Amazon ConnectとKinesis Data Streamsを使用し、エージェントの介在がないIVRの場合でも電話中のユーザーの発話を録音する方法 | DevelopersIO

              はじめに この記事では、Amazon ConnectとKinesis Data Streams(以下、KDS)を用いて、エージェントが介在しなくても、ユーザーの発話を録音する方法を紹介します。 Connectでは、下記のコンタクフローのブロックで録音できますが、録音条件は、顧客とエージェントが繋がってからのみ録音されます。 例えば「留守番電話」やAmazon Lexと組み合わせた「AIチャットボット」のように、エージェントが介在しない場合、通常の録音機能は利用できません。 解決策として、コンタクフロー内で「メディアストリーミングの開始」というブロックを利用し、Kinesis Video Streams(以降、KVS)にメディアデータを保存できます。ただし、注意点として、保存されたメディアデータはMatroska(MKV)形式となるため、一般的であるWAVなどの形式に変換する作業が必要となり

                Amazon ConnectとKinesis Data Streamsを使用し、エージェントの介在がないIVRの場合でも電話中のユーザーの発話を録音する方法 | DevelopersIO
              • Amazon ConnectからKinesis Video Streamに送信する音声データは、GetMediaForFragmentList APIで取得すべき理由 | DevelopersIO

                Amazon ConnectからKinesis Video Streamに送信する音声データは、GetMediaForFragmentList APIで取得すべき理由 はじめに 以前、Amazon Connectでエージェントが介在しない「留守番電話」や「AIチャットボット」で録音したい場合、Kinesis Video Streams(以降、KVS)経由でAWS Lambdaを使い音声データの録音と保存する方法をまとめました。 ただし、ConnectからKVS経由で音声ファイルS3バケットに保存すると、録音した音声と異なる音声が時折含まれていました。 調査した結果、以下の記事でも同じ現象に言及しておりました。その記事では、KVSからメディアデータを取得する際にGetMediaAPIではなくGetMediaForFragmentListAPIを利用することで、この問題が解消されたと書かれてい

                  Amazon ConnectからKinesis Video Streamに送信する音声データは、GetMediaForFragmentList APIで取得すべき理由 | DevelopersIO
                • Introducing Dynamic Partitioning in Amazon Kinesis Data Firehose

                  Today we announced Dynamic Partitioning in Amazon Kinesis Data Firehose. With Dynamic Partitioning, you can continuously partition streaming data in Kinesis Data Firehose using keys within data like “customer_id” or “transaction_id” and deliver data grouped by these keys into corresponding Amazon Simple Storage Service (Amazon S3) prefixes, making it easier for you to run high performance, cost-ef

                    Introducing Dynamic Partitioning in Amazon Kinesis Data Firehose
                  • Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング | Amazon Web Services

                    Amazon Web Services ブログ Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング 2021 年 11 月 30 日(米国時間)、新しいキャパシティーモードである Amazon Kinesis Data Streams On-demand をローンチしました。このキャパシティーモードでは、ストリーミングワークロードのキャパシティーのプロビジョニングと管理が不要になります Kinesis Data Streams はフルマネージド型のサーバーレスサービスであり、ストリーミングされたデータを大規模にリアルタイムに処理します。Kinesis Data Streams は、任意の数のソースから任意の量のデータを取得し、必要に応じてスケールアップおよびスケールダウンできます。2013 年 11 月に

                      Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング | Amazon Web Services
                    • Amazon Kinesis Data Streams + Protocol Buffersで実現するイベント駆動アーキテクチャー

                      アソビュー! Advent Calendar 2020 の18日目です。 初めまして、アソビュー!SREのkirimaruです。 最近Amazon Kinesis Data Streams用の社内向けライブラリ「Pelican」を開発したのでその話を書こう!と思ったのですが、Amazon Kinesis Data Streamsの活用事例と合わせて、そもそもこのライブラリを開発する経緯をまず書こうと思います。 余談ですが僕のアイコンはこのライブラリ用のアイコンとして作ったのものです。 アソビュー! Advent Calendar 2020 の2日目に上記の記事が投稿されています。 その中で今回の主題のひとつであるProtocol Buffersについて下記のように触れています。 🆕 Protocol Buffers / gRPC 以前の記事の時点では、RESTfulなAPIを利用するケー

                        Amazon Kinesis Data Streams + Protocol Buffersで実現するイベント駆動アーキテクチャー
                      • AWS IoT 再入門ブログリレー Amazon Kinesis Video Streams編 | DevelopersIO

                        1 はじめに CX事業本部平内(SIN)です。 本企画は、弊社チームIoTメンバーが初心に返ってIoTサービスについて学びなおし、解説してみようというものです。 本エントリーでは、AWSへ動画をライブで簡単かつ安全にストリーミングできる「Amazon Kinesis Video Streams(以下、Kinesis Video Streams)」について紹介します。 Kinesis Video Streamsの主要な機能は、以下のとおりです。 数百万ものデバイスからのストリーミングデータを取り込むために必要な、すべてのインフラストラクチャ扱うマネージドサービス ストリーム内の動画データの耐久性に優れた保存、暗号化、インデックス作成 APIを介したデータへのアクセスが可能 ライブやオンデマンド視聴用の動画再生が可能 コンピュータビジョンと動画分析を活用するアプリケーションを迅速に構築可能 ビ

                          AWS IoT 再入門ブログリレー Amazon Kinesis Video Streams編 | DevelopersIO
                        • Audioデータをクラウドに送ってみました。 MQTT(basic ingest) + Amazon Kinesis Data Streams + Amazon Kinesis Data Firehose + S3 (バイナリ) | DevelopersIO

                          1 はじめに CX事業本部の平内(SIN)です。 ここまで、エッジ側のAudioデータをクラウドへ送信する要領をいくつか試してみました。 上記のうち、最後だけは、バイナリ型式でデータを送ってみたのですが、実は、AWS IoT SDKのMQTTクライアントのPublishもpayloadは、bufferとなってます。 https://awslabs.github.io/aws-crt-python/api/mqtt.html?#awscrt.mqtt.Connection.publish 今回は、AudioデータをJSON化せず、バイナリ形式のまま送信する要領を確認してみました。 2 構成 構成は、前回とほぼ同じです。 デバイスからは、500msec単位で、Audioデータ(バイナリ形式)とタイムスタンプ(バイナリ形式)を結合したものをPayloadとしてMQTTで送信します。 Amazon

                            Audioデータをクラウドに送ってみました。 MQTT(basic ingest) + Amazon Kinesis Data Streams + Amazon Kinesis Data Firehose + S3 (バイナリ) | DevelopersIO
                          • Amazon Kinesis 向けストリーミングデータソリューション | AWS ソリューション | AWS ソリューションライブラリ

                            重要: Amazon Kinesis 向けのストリーミングデータソリューションは、2025 年 1 月 18 日に廃止されます。その後も既存のデプロイ環境はすべて機能し続け、既存のお客様は自らの環境およびデータを引き続き完全に制御できますが、ソリューションのサポートやメンテナンスは行われなくなります。 Amazon Kinesis 向けストリーミングデータソリューションには、4 つのデプロイオプションと付属の AWS CloudFormation テンプレートが含まれています。これらのテンプレートは、ダッシュボードやアラームによるデータモニタリングやデータセキュリティなど、ストリーミングデータのベストプラクティスを適用するように設定されています。 ストリーミングデータは、データプロデューサーからの大量のデータを処理できる、非常にスケーラブルなストレージによって高い耐久性をもってキャプチャさ

                              Amazon Kinesis 向けストリーミングデータソリューション | AWS ソリューション | AWS ソリューションライブラリ
                            • Jetson nanoで撮影した動画をAmazon Kinesis Video Streamsに配信してみる

                              はじめに このブログではJetson nanoを用いて4K動画を撮影する記事をいくつか掲載していますが、今回はJetson nanoで撮影した動画をAmazon Kinesis Videoに配信する方法をまとめます。 前回の記事で、Jetson nanoではGPUをフルに使っても、4K動画のライブキャリブレーション(魚眼レンズのリアルタイム画像補正)ができない事を書きましたが、Jetson nanoでダメであれば動画をクラウドに上げて高速なGPUを使って、処理しようという作戦です。 用意するもの ①ボードコンピュータ 今回の主役Jetson nanoです。Jetson nanoは安価な2GBモデルが発表になりましたが、今回は従来からある4Gモデルを利用します。 ・Jetson Nano 開発者キットは、最新の画像分類、物体検出、セグメンテーション、音声処理などのアプリケーションを小型サイズ

                              • Amazon Connectで自動ヒアリングした内容をBedrockで要約し、メール通知する(Kinesis Data Stream + Step Functions) | DevelopersIO

                                以下に構成図を示します。 処理の内容は以下のとおりです。 Lexボットでお問い合わせ内容をヒアリングする ヒアリング内容をコンタクト属性として保存する キー名:recording、値はヒアリング内容のテキスト 切断直後、問い合わせレコードがKDSにストリーミングされ、EventBridge Pipes経由でStep Functionsステートマシンを起動する 問い合わせレコードには、コンタクト属性(recording)、コンタクトID、発信元電話番号、日時などが保存されている ステートマシンでは以下の処理を行う ステートマシンに渡された問い合わせレコードから、ヒアリング内容であるコンタクト属性(recording)を取得する Bedrockを使用して、お問い合わせ内容の文章を整形する 整形した文章とコンタクトID、発信元電話番号等をAmazon SNSでメール送信する 以前、AWS Lam

                                  Amazon Connectで自動ヒアリングした内容をBedrockで要約し、メール通知する(Kinesis Data Stream + Step Functions) | DevelopersIO
                                • Building a real-time notification system with Amazon Kinesis Data Streams for Amazon DynamoDB and Amazon Kinesis Data Analytics for Apache Flink | Amazon Web Services

                                  AWS Big Data Blog Building a real-time notification system with Amazon Kinesis Data Streams for Amazon DynamoDB and Amazon Kinesis Data Analytics for Apache Flink August 30, 2023: Amazon Kinesis Data Analytics has been renamed to Amazon Managed Service for Apache Flink. Read the announcement in the AWS News Blog and learn more. Amazon DynamoDB helps you capture high-velocity data such as clickstre

                                    Building a real-time notification system with Amazon Kinesis Data Streams for Amazon DynamoDB and Amazon Kinesis Data Analytics for Apache Flink | Amazon Web Services
                                  • 【速報】Amazon Kinesis Data Streams のデータ保持期間が最大1年に拡張されました #reinvent | DevelopersIO

                                    日本時間2020年12月10日深夜のAWS re:Invent 2020のAnalyticsのリーダーシップセッションにて、Amazon Kinesis Data Streamsのデータ保持期間が最大1年に拡張されたことが発表されました。 データ保持期間 とは Amazon Kinesis Data Streamsは、ストリームデータの保持期間デフォルトの24時間のみでしたが、re:Invent2015のタイミングにレコードの有効期間を24時間から最大168時間(7日)まで延長できるようになりました。 それからはや5年、re:Invent2020では、レコードの有効期間を最大8760時間(1年)まで延長できるようになりました。 データ保持期間の背景 この5年間の間に、Kinesis関連サービスも拡充され、今では誰もが普通のサービスとして利用されるぐらい一般的になりました。 データ保持期間が

                                      【速報】Amazon Kinesis Data Streams のデータ保持期間が最大1年に拡張されました #reinvent | DevelopersIO
                                    • Kinesis Data Firehose で Amazon S3 への動的パーティショニングのサポートを開始 | Amazon Web Services

                                      Amazon Web Services ブログ Kinesis Data Firehose で Amazon S3 への動的パーティショニングのサポートを開始 Amazon Kinesis Data Firehose は、ストリーミングデータをデータレイク、データストア、および分析サービスに確実にロードするための便利な方法を提供します。Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon OpenSearch Service、汎用 HTTP エンドポイント、および Datadog、New Relic、MongoDB、Splunk などのサービスプロバイダーにストリーミングデータをキャプチャ、変換、配信することができます。Amazon Kinesis Data Firehoseは、データのスループットに合わせて自動的

                                        Kinesis Data Firehose で Amazon S3 への動的パーティショニングのサポートを開始 | Amazon Web Services
                                      • Introducing Amazon Kinesis Data Analytics Studio – Quickly Interact with Streaming Data Using SQL, Python, or Scala | Amazon Web Services

                                        AWS News Blog Introducing Amazon Kinesis Data Analytics Studio – Quickly Interact with Streaming Data Using SQL, Python, or Scala The best way to get timely insights and react quickly to new information you receive from your business and your applications is to analyze streaming data. This is data that must usually be processed sequentially and incrementally on a record-by-record basis or over sli

                                          Introducing Amazon Kinesis Data Analytics Studio – Quickly Interact with Streaming Data Using SQL, Python, or Scala | Amazon Web Services
                                        • Amazon Kinesis Video Streams を用いた機械学習のためのパイプラインの構築 | Amazon Web Services

                                          Amazon Web Services ブログ Amazon Kinesis Video Streams を用いた機械学習のためのパイプラインの構築 この記事は Building machine learning pipelines with Amazon Kinesis Video Streams を翻訳したものです。 はじめに Amazon Kinesis Video Streams (KVS) は、コネクテッドデバイスから AWS にビデオを安全にストリーミングし、分析、機械学習 (ML) 、再生、その他の処理を簡単に行うことができるようにします。KVS は、数百万台のデバイスからストリーミングビデオデータを取り込むために必要なすべてのインフラを自動的に準備し、柔軟にスケールします。KVS は、ストリームのビデオデータを耐久性をもって保存、暗号化、インデックス化し、使いやすい API

                                            Amazon Kinesis Video Streams を用いた機械学習のためのパイプラインの構築 | Amazon Web Services
                                          • Amazon CloudWatch Logsを別アカウントのKinesis Data Firehoseにプッシュする手順で脳内CPUが100%になったので図に描いてみた | DevelopersIO

                                            こんにちは!コンサル部のinomaso(@inomasosan)です。 とある案件でAmazon CloudWatch Logsに保存したAmazon Auroraのログを、別アカウントのKinesis Data FirehoseにプッシュしS3に保存できるか調査しました。が、テキストだけ読んで理解しようとしたところ脳内CPUが高負荷で爆発しました。 そこで、今回は参考にした手順で作成するリソースを図に描いて、脳の負荷を軽減してみます。 まずはシングルアカウントでの手順を図にしてみる 理解を深めるために、まずはシングルアカウントでの手順から図にしてみます。 今回はAmazon Auroraの各種ログをCloudWatch LogsからS3に連携してみたを参考に、より詳細な図を描いてみました。 Amazon CloudWatch LogsとAmazon Kinesis Data Fireho

                                              Amazon CloudWatch Logsを別アカウントのKinesis Data Firehoseにプッシュする手順で脳内CPUが100%になったので図に描いてみた | DevelopersIO
                                            • AWS Lambda launches checkpointing for Amazon Kinesis and Amazon DynamoDB Streams

                                              AWS Lambda now allows customers to automatically checkpoint records that have been successfully processed for Amazon Kinesis and Amazon DynamoDB Streams, using a new parameter, FunctionResponseType. When customers set this parameter to “Report Batch Item Failure”, if a batch fails to process, only records after the last successful message are retried. This reduces duplicate processing, and gives c

                                                AWS Lambda launches checkpointing for Amazon Kinesis and Amazon DynamoDB Streams
                                              • Amazon CloudWatch を活用した Amazon Kinesis Data Firehose 配信ストリームの状態の把握 | Amazon Web Services

                                                Amazon Web Services ブログ Amazon CloudWatch を活用した Amazon Kinesis Data Firehose 配信ストリームの状態の把握 本記事は Amazon Web Services, Startup Solutions Architect Manager である Alon Gendler によって投稿されたものです。 世界中で生成されるデータの量の増加がますます加速しています。データは、IoT、広告、ゲーム、セキュリティ監視、機械学習 (ML) など、増え続けるユースケースをサポートするために生成されています。これらのユースケースの発展がストリーミングデータの量と速度の両方を駆動させた結果、企業はデータをニアリアルタイムで取得、処理、変換、分析、さまざまなデータストアに取り込む必要が出てきています。 Amazon Kinesis Data

                                                  Amazon CloudWatch を活用した Amazon Kinesis Data Firehose 配信ストリームの状態の把握 | Amazon Web Services
                                                • AWS Lambda now supports event filtering for Amazon SQS, Amazon DynamoDB, and Amazon Kinesis as event sources

                                                  AWS Lambda now provides content filtering options for SQS, DynamoDB and Kinesis as event sources. With event pattern content filtering, customers can write complex rules so that their Lambda function is only triggered by SQS, DynamoDB, or Kinesis under filtering criteria you specify. This helps reduce traffic to customers’ Lambda functions, simplifies code, and reduces overall cost. Customers can

                                                    AWS Lambda now supports event filtering for Amazon SQS, Amazon DynamoDB, and Amazon Kinesis as event sources
                                                  • Building an ad-to-order conversion engine with Amazon Kinesis, AWS Glue, and Amazon QuickSight | Amazon Web Services

                                                    AWS Big Data Blog Building an ad-to-order conversion engine with Amazon Kinesis, AWS Glue, and Amazon QuickSight August 30, 2023: Amazon Kinesis Data Analytics has been renamed to Amazon Managed Service for Apache Flink. Read the announcement in the AWS News Blog and learn more. Businesses in ecommerce have the challenge of measuring their ad-to-order conversion ratio for ads or promotional campai

                                                      Building an ad-to-order conversion engine with Amazon Kinesis, AWS Glue, and Amazon QuickSight | Amazon Web Services
                                                    • AWS Lambda now makes it easier to build analytics for Amazon Kinesis and Amazon DynamoDB Streams

                                                      Customers can now use AWS Lambda to build analytics workloads for their Amazon Kinesis or Amazon DynamoDB Streams. For no additional cost, customers can build sum, average, count, and other simple analytics functions over a contiguous, non-overlapping time windows (tumbling window) of up to 15 minutes per shard. Customers can consolidate their business and analytics logic into a single Lambda func

                                                        AWS Lambda now makes it easier to build analytics for Amazon Kinesis and Amazon DynamoDB Streams
                                                      • Amazon Kinesis Data StreamsにTwitter検索データを送信する - ヤマムギ

                                                        Kinesis Data Streamsの作成 ストリーム名とシャード数を決定するだけです。 シャードは 「各シャードは最大で 1 MiB/秒および 1000 レコード/秒を取得し、最大 2 MiB/秒を出力します。」 ということですので、1レコード1kbなさそうなレコードを最大100件送信するのでシャードは1つで足りそうです。 シャードエスティメーターで確認しても問題なさそうです。 作成されました。 シャードの数、タグ以外の設定は、サーバー側の暗号化、データ保持期間、シャードレベルメトリクスでした。 デフォルトの24時間、暗号化なし、シャードレベルの追加メトリクスなしにしました。 AWS CLI を使用した基本的な Kinesis Data Stream オペレーションの実行の手順でレコードの送信、受信をやってみました。 送信 $ aws kinesis put-record --str

                                                          Amazon Kinesis Data StreamsにTwitter検索データを送信する - ヤマムギ
                                                        • Kinesis Data Firehose と Fluent Bit for Amazon EKS on AWS Fargate によるサードパーティーへのログ送信 | Amazon Web Services

                                                          Amazon Web Services ブログ Kinesis Data Firehose と Fluent Bit for Amazon EKS on AWS Fargate によるサードパーティーへのログ送信 この記事は Shipping logs to third-parties with Kinesis Data Firehose and Fluent Bit for Amazon EKS on AWS Fargate (記事公開日: 2022 年 4 月 20 日) を翻訳したものです。 AWS Fargate は EKS クラスターで Pod を動作させるためのキャパシティをオンデマンドで提供するテクノロジーです。Fargate は EC2 インスタンスの管理を必要とせずにコンテナアプリケーションを実行できるようにすることで、より手のかからない体験を提供します。AWS Farg

                                                            Kinesis Data Firehose と Fluent Bit for Amazon EKS on AWS Fargate によるサードパーティーへのログ送信 | Amazon Web Services
                                                          • Audioデータをクラウドに送ってみました。 MQTT + Amazon Kinesis Data Firehose + S3 (JSON) | DevelopersIO

                                                            Audioデータをクラウドに送ってみました。 MQTT + Amazon Kinesis Data Firehose + S3 (JSON) 1 はじめに CX事業本部の平内(SIN)です。 今回は、エッジ側のAudioデータをクラウドへ送信する要領を確認してみました。 送信の方法や、保存先は色々考えられますが、手始めにMQTTで送信し、Amazon Kinesis Data Firehose経由で、S3に保存する形を試してみました。 また、保存されたAudioデータから時間を指定して、wavファイルを生成するLambda関数も書いてみました。 確認が容易なように、とりあえず、Audioデータをターゲットとしていますが、連続するストリームを扱うという意味では、Audioに限らず応用ができるのではと考えています。 2 Audio入力 エッジ側は、RaspberryPiとしたのですが、デフォル

                                                              Audioデータをクラウドに送ってみました。 MQTT + Amazon Kinesis Data Firehose + S3 (JSON) | DevelopersIO
                                                            • Migrate from Amazon Kinesis Data Analytics for SQL to Amazon Managed Service for Apache Flink and Amazon Managed Service for Apache Flink Studio | Amazon Web Services

                                                              AWS Big Data Blog Migrate from Amazon Kinesis Data Analytics for SQL to Amazon Managed Service for Apache Flink and Amazon Managed Service for Apache Flink Studio Amazon Kinesis Data Analytics for SQL is a data stream processing engine that helps you run your own SQL code against streaming sources to perform time series analytics, feed real-time dashboards, and create real-time metrics. AWS has ma

                                                                Migrate from Amazon Kinesis Data Analytics for SQL to Amazon Managed Service for Apache Flink and Amazon Managed Service for Apache Flink Studio | Amazon Web Services
                                                              • 【小ネタ】[Amazon Kinesis Data Firehose] Transform source records with AWS Lambda でレコード毎に改行を追加する | DevelopersIO

                                                                【小ネタ】[Amazon Kinesis Data Firehose] Transform source records with AWS Lambda でレコード毎に改行を追加する 1 はじめに IoT事業部の平内(SIN)です。 ストリームに流れるレコードを、そのままS3へ保存するような場合、Amazon Kinesis Data Firehoseが非常に便利に利用されると思います。そして、レコードが、JSONのようなテキスト形式だった場合に、レコード毎の区切りが分かるように改行等を入れて保存すると、利用しやすいかも知れません。 このことから、IoT Coreのルールでは、Amazon Kinesis Data Firehoseへ送る際、改行等のセパレータが指定可能になっています。 今回は、Amazon Kinesis Data Streamsを入力ソースとしたAmazon Kines

                                                                  【小ネタ】[Amazon Kinesis Data Firehose] Transform source records with AWS Lambda でレコード毎に改行を追加する | DevelopersIO
                                                                • KCL 1.x および 2.x の情報 - Amazon Kinesis Data Streams

                                                                  KCL 1.x と KCL 2.x については、どちらも使用シナリオに応じて最新の KCL 1.x バージョンまたは KCL 2.x バージョンにアップグレードすることをお勧めします。KCL 1.x と KCL 2.x は、どちらも新しいリリースに伴って定期的に更新されています。これには、最新の依存関係パッチ、セキュリティパッチ、バグ修正、および下位互換性のある新機能が含まれます。詳細については、https://github.com/awslabs/amazon-kinesis-client/releases を参照してください。 KCL について (以前のバージョン) KCL は、分散コンピューティングに関連する複雑なタスクの多くを処理することで、Kinesis Data Streams からデータを消費および処理するのに役立ちます。これには、複数のコンシューマーアプリケーションインスタ

                                                                  • Amazon Kinesis Data FirehoseでDynamic Partitioningによる出力データの動的パーティショニングを試してみた(AWS CDK) | DevelopersIO

                                                                    Amazon Kinesis Data FirehoseでDynamic Partitioningによる出力データの動的パーティショニングを試してみた(AWS CDK) こんにちは、CX事業本部 IoT事業部の若槻です。 Amazon Kinesis Data Firehoseでは、S3 Bucketに出力されるデータのnamespace(プレフィックス)として、Timestampに加えて、レコード毎に指定のキー値を使用したプレフィクスを付与できるDynamic Partitioning(動的パーティショニング)という機能が利用できます。 Dynamic Partitioning in Kinesis Data Firehose - Amazon Kinesis Data Firehose 今回は、Amazon Kinesis Data FirehoseでのDynamic Partitio

                                                                      Amazon Kinesis Data FirehoseでDynamic Partitioningによる出力データの動的パーティショニングを試してみた(AWS CDK) | DevelopersIO
                                                                    • Amazon Kinesis Data Streams は、最大 1 年間のデータストリームの保持が可能に

                                                                      ストリーミングデータを Amazon Kinesis Data Streams に最大 1 年間保存できるようになりました。ストリーミングデータを長期間保持すると、Amazon Kinesis Data Streams に保持されているリアルタイムデータと古いデータの両方で同じプラットフォームを使用できます。例えば、データを別のデータストアに移動したり、新しいアプリケーションを作成したりすることなく、金融取引、マーケティングのパーソナライズ、レコメンデーションモデル向けの機械学習アルゴリズムをトレーニングできます。また、長期保存を使用して、HIPAA や FedRAMP などの特定のデータ保存規制を満たすこともできます。追加のストレージやコンピューティングリソースをプロビジョニングせずに、保存および取得したデータに対してのみ料金を支払います。 Amazon Kinesis Data Str

                                                                        Amazon Kinesis Data Streams は、最大 1 年間のデータストリームの保持が可能に
                                                                      1