タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Adjustable Split Separate and rotate modules independently to keep wrists straight and reduce ulnar deviation. 3-Way Adjustable Tenting Tenting elevates the thumb side of the hand to reduce forearm pronation caused by flat keyboards. Integrated Palm Support Palm supports and cushioned palm pads* promote neutral typing position to reduce wrist extension. *Sold separately Compact Layout Thanks to it
GoとKinesis Data Firehoseで非同期の検索基盤を構築─モノリス化した「カオナビ」はアーキテクチャ改善にどう取り組み始めたか - はてなニュース
社員の個性・才能を発掘し、戦略人事を加速させるタレントマネジメントシステム「カオナビ」を提供する株式会社カオナビでは、SaaS移行にあわせてクラウドを全面的に採用し、インフラの自動化などにAWSのマネージドサービスを積極活用しています。とはいえ10年近い運用で、サービス開発におけるシステムのモノリス化が課題となってきました。 こういった全社的な課題は、2020年からCTOを務める松下雅和（@matsukaz）さんを中心にCTO室で対応しています。モノリスなシステムは、全体のモジュラモノリス化を前提に、とくにボトルネックとなる検索処理を非同期の基盤サービスとして切り出しています。 この検索基盤の設計と実装を通して、カオナビはシステムのアーキテクチャ改善をどのように進めようとしているのか。非同期である必要性や、デプロイの工夫、開発組織の文化まで含めて、CTO室の千葉峻秀さんとインフラグループの
Summary of the Amazon Kinesis Event in the Northern Virginia (US-EAST-1) Region
November, 25th 2020 We wanted to provide you with some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on November 25th, 2020. Amazon Kinesis enables real-time processing of streaming data. In addition to its direct use by customers, Kinesis is used by several other AWS services. These services also saw impact during the event. The trig
[速報] CloudWatchの監視メトリクスをKinesis経由でストリーム送信可能な新機能「CloudWatch Metric Streams」が登場しました！ | DevelopersIO
Amazon CloudWatch に新しい機能、Metric Stream が登場しました！ いままでCloudWatchのメトリクスデータを、New RelicやDatadogのような外部のSaaSから参照しようと思ったら、定期的にAPIでポーリングするしかありませんでした。そのため、（この公式Blogにも書いてますが）メトリクスの種類によっては5〜10分程度の遅延が発生することになってました。 今回の機能で、CloudWatch側で更新されると同時にSaaS側へもpushされることになるため、同じタイミングで参照できるようになります。これはうれしいですね！ CloudWatch Metric Streamで出来ること 要は、CloudWatch MetricのデータをKinesis Data Firehoseに流し込むことができる機能です。 Firehose はストリームデータをS3
![[速報] CloudWatchの監視メトリクスをKinesis経由でストリーム送信可能な新機能「CloudWatch Metric Streams」が登場しました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2cd56545af48138769ce47d03f22d7baac20b923/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-cloudwatch.png)
Amazon Kinesis Data Firehose now supports data delivery to HTTP endpoints
Amazon Kinesis Data Firehose now supports streaming data delivery to a generic HTTP endpoint. This feature enables you to use a fully managed service to stream data to an HTTP endpoint without building custom applications or worrying about operating and managing the data delivery infrastructure. Amazon Kinesis Data Firehose incorporates error handling, auto-scaling, transformation, conversion, agg
AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い －Serverless(Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference、OpenSearch Service)、オンデマンドモード(DynamoDB、Kinesis Data Streams)－ - NRIネットコムBlog
小西秀和です。 Amazon Aurora、Amazon Neptune、Amazon EMR、Amazon Redshift、Amazon Managed Streaming for Apache Kafka(Amazon MSK)、Amazon OpenSearch Serviceなどのインスタンスで構成されたクラスターで処理を実行するAWSサービスでは、従来、リクエストを処理するために待ち受けているインスタンスの起動時間とインスタンスサイズに応じて料金が発生する課金体系でした。 近年ではこうしたクラスター型のAWSサービスの一部にリクエストやトラフィック処理に使用した時間やリソース量の分だけ料金が発生する課金体系が「～Serverless」のような名称で追加されてきています。 例えば前述したAWSサービスにはAmazon Aurora Serverless(v1, v2)、Amazo
10年間使い続けた高機能エルゴノミクスキーボード「Kinesis Advantage」を最新版に買い替えた小寺信良さんによる比較レビュー。 10年間愛用したエルゴノミクスキーボード、「Kinesis Advantage」が壊れた。過去のメールを調べてみると、これを買ったのは2012年5月8日。Amazonから2万7980円（税込）で購入したものだった。 筆者はShift＋矢印キーの押しっぱなしリピート入力で文章ブロックを範囲選択することが多いのだが、リピートしている最中に数字の「6」が入力されてしまい、選択した文章が「6」だけになってしまうという致命的な故障である。 それも毎回確実に起こるわけではなく、5回に1回ぐらいなので始末が悪い。Kinesis Advantageは通常のキーボードと違い、キーボード本体だけでキーのリマップやマクロが組めるマイコンが搭載されている。このマイコンがエラー
Fixed Split Design Split design positions hands closer to shoulder-width in proper typing form to reduce ulnar deviation. Learn More Windows Precision Touchpad Point, click, scroll, and gesture with either hand from the centrally-located touchpad and stop reaching for the mouse. Learn More
CloudWatch LogsのログデータをKinesis Data Firehose経由でS3に出力する | DevelopersIO
CloudWatch Logsのデータを、Kinesis Data Firehose経由でS3に出力する手順です。 Lambda Functionなどで作り込みを行わず、CloudWatch LogsのログデータをS3に出力するには、Kinesis Data Firehoseが利用できます。 本エントリでは、Kinesis Data Firehoseを介して、CloudWatch LogsのデータをS3へ出力する設定を紹介しています。CloudWatch LogsからKinesis Data Firehoseへ出力するには、CloudWatch Logsのサブスクリプションフィルタの設定が必要になりますが、こちらの設定はマネジメントコンソールでは行えないので、関連する作業含めAWS CLIを利用して実施しています。さいごに、AWS CLIで構築した同様の構成を定義するCFnテンプレートも添
Amazon ConnectとKinesis Video Streamsを利用した音声データの録音と保存（「留守番電話」や「AIチャットボット」で利用） | DevelopersIO
はじめに Amazon Connectでエージェントが介在しない「留守番電話」や「AIチャットボット」で録音したい場合、Kinesis Video Streams（以降、KVS）経由でAWS Lambdaを使い音声データの録音と保存する方法をまとめました。 Amazon Connectでは、下記のコンタクフローのブロックで録音できますが、録音条件は、顧客とエージェントが繋がってからのみ録音されます。 エージェントが介在しない、「留守番電話」やAmazon Lexと組み合わせた「AIチャットボット」の場合、録音機能は利用できません。 解決策として、コンタクフロー内で「メディアストリーミングの開始」というブロックを利用し、KVSにメディアデータを保存できます。ここで注意が必要なのは、保存されたメディアデータがMatroska（MKV）形式となるため、一般的な形式であるWAVなどの形式に変換する
コンサル部＠大阪オフィスのYui(@MayForBlue)です。 最近、CloudWatch Logs から S3 へのログデータの転送に Kinesis Data Firehose を初めて使ってみたので、勉強したことをまとめてみました。 ドキュメントを読んだり概要を学んだだけではなかなか理解しにくかったので、実際に触ってみた内容が中心となります。 Kinesis Data Firehose とは リアルタイムのストリーミングデータをS3やRedShift、Elasticsearchなどのデータストア、分析ツールに配信するAWSのマネージドサービス。 複雑な設定をすることなく、データ送信元から送信先へのデータの転送を実現することができます。 イメージ Kinesis Data Firehose は、Kinesis ストリーミングデータプラットフォームの一部で、他に、Kinesis Dat
Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity | Amazon Web Services
AWS News Blog Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity Today we are launching Amazon Kinesis Data Streams On-demand, a new capacity mode. This capacity mode eliminates capacity provisioning and management for streaming workloads. Kinesis Data Streams is a fully-managed, serverless service for real-time processing of streamed data at a massive scale. Ki
Amazon Connectのフローでの離脱箇所と放棄呼をKinesis Data Streamsを用いて取得し、DynamoDBに保存してみた | DevelopersIO
Amazon Connectのフローでの離脱箇所と放棄呼をKinesis Data Streamsを用いて取得し、DynamoDBに保存してみた はじめに Amazon Connectのフローで離脱箇所や放棄呼をAmazon Kinesis Data Streams（以降、KDS）を用いて取得し、DynamoDBに保存する方法をまとめました。 利用用途は以下が挙げられます。 IVRでの途中離脱箇所を知りたい オペレーターにつながる前に切られる放棄呼の有無を知りたい Connectは、各通話ごとに問い合わせレコード（CTR）として通話記録を保存します。 Connectでは、KDSに問い合わせレコードを出力することができます。通常は問い合わせレコードは、どのフローで切断されたか情報はありませんが、フロー内で工夫すると取得ができます。工夫内容は後述します。 以下の構成図をもとに処理の流れを説明し
AWSサーバーレスサービスのオンデマンドモードの特徴・比較・まとめ・プロビジョニングモードとの違い －DynamoDB、Kinesis Data Streams－ - NRIネットコムBlog
小西秀和です。 今回は「AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い」の記事の一部としてAWSのサーバーレスサービスの一部でプロビジョニングモードに対して用意されているオンデマンドモードについて、主なAWSサービスごとに特徴、設定項目、料金、制限事項を見ていきたいと思います。 今回の記事の内容は次のような構成になっています。 オンデマンドモード使える主なAWSサーバーレスサービス Amazon DynamoDBオンデマンドモード Amazon DynamoDBの概要 Amazon DynamoDBオンデマンドモードの特徴 Amazon DynamoDBオンデマンドモードの設定項目 Amazon DynamoDBオンデマンドモードの料金 オンデマンドモードとプロビジョニングモードの料金比較 Amazon DynamoDBオン
Kinesis Data Streamsを追う kinesis-tailf - fujiwara-ware 2024 day 22
この記事は fujiwara-ware advent calendar 2024 の22日目です。 kinesis-tailf とは kinesis-tailf は、読んで字のごとく Amazon Kinesis Data Streams を tail -f するためのツールです。 指定した stream の末尾を追い続け、新しいレコードが追加されるたびにそれを表示します。 なぜ作ったのか Amazon Kinesis Data Streams は、リアルタイムデータストリームを処理するためのサービスです。筆者は主にログデータを処理するために使っています。 Kinesis に流れたログは最終的には Firehose を経由して Amazon S3 などに保存されます。しかし S3 に保存されるまでには数分の遅延(バッファリング期間)があります。開発中はこのバッファリングがもどかしく、流れて
Amazon ConnectとKinesis Video Streamで通話を録音時、Lex を利用し発話終了のタイミングで録音を自動停止（無人対応） | DevelopersIO
はじめに Amazon Connectの無人対応で、Kinesis Video Stream（KVS）で通話を録音時、プッシュボタンでなく発話終了のタイミングで録音を停止させる方法をまとめました。 Amazon Connectの無人対応において、通話をKVSで録音する場合、ユーザーが話した後、プッシュボタンを押すことで録音を終了する方法があります。 この方法のコンタクトフローは、以下の通りです。 ユーザーが発話する ユーザーが発話を終了した後、プッシュボタンを押して録音を終了する 以下の記事では、この方法を使用して、顧客の一次対応を無人で行っています。 ただし、ユーザーがプッシュボタンを押すのはユーザーにとって負担がかかります。今回は、ユーザーが発話を終了させたら、自動で録音を終了する方法が見つけたので、その手順をまとめます。 ちなみに、プッシュボタンではなく、時間経過で録音を終了させる方
Kinesis Advantage 360 Pro で快適エルゴノミクス分割高級キーボードライフを送ろう
はじめに はじめまして。Magic Moment で VP of SRE をしている清家と申します(Twitterはこちら)。普段はあるチームの Scrum Master をしたり、Engineering Manager をしたりしながら、SRE/QA チームの立ち上げをしています。 さて、本日はそういった肩書とか役割といったこととは無関係に、キーボードについてお話したいと思います。 みなさん、どのようなキーボードライフをお過ごしでしょうか？ HHKB？ Realforce？それとも、Keychron？ 私はかれこれ10年ほど、ずっと HHKB Professional Classic を愛用していました。あの打鍵感と、コンパクトなサイズに魅了され、職場は変われどキーボードは変えず、ずっと添い遂げるんだくらいの気持ちだったのですが、ある日突然に終わりが来ました。 そんな時に目にしたのが、K
Amazon ConnectとKinesis Data Streamsを使用し、エージェントの介在がないIVRの場合でも電話中のユーザーの発話を録音する方法 | DevelopersIO
はじめに この記事では、Amazon ConnectとKinesis Data Streams（以下、KDS）を用いて、エージェントが介在しなくても、ユーザーの発話を録音する方法を紹介します。 Connectでは、下記のコンタクフローのブロックで録音できますが、録音条件は、顧客とエージェントが繋がってからのみ録音されます。 例えば「留守番電話」やAmazon Lexと組み合わせた「AIチャットボット」のように、エージェントが介在しない場合、通常の録音機能は利用できません。 解決策として、コンタクフロー内で「メディアストリーミングの開始」というブロックを利用し、Kinesis Video Streams（以降、KVS）にメディアデータを保存できます。ただし、注意点として、保存されたメディアデータはMatroska（MKV）形式となるため、一般的であるWAVなどの形式に変換する作業が必要となり
Amazon ConnectからKinesis Video Streamに送信する音声データは、GetMediaForFragmentList APIで取得すべき理由 | DevelopersIO
Amazon ConnectからKinesis Video Streamに送信する音声データは、GetMediaForFragmentList APIで取得すべき理由 はじめに 以前、Amazon Connectでエージェントが介在しない「留守番電話」や「AIチャットボット」で録音したい場合、Kinesis Video Streams（以降、KVS）経由でAWS Lambdaを使い音声データの録音と保存する方法をまとめました。 ただし、ConnectからKVS経由で音声ファイルS3バケットに保存すると、録音した音声と異なる音声が時折含まれていました。 調査した結果、以下の記事でも同じ現象に言及しておりました。その記事では、KVSからメディアデータを取得する際にGetMediaAPIではなくGetMediaForFragmentListAPIを利用することで、この問題が解消されたと書かれてい
Introducing Dynamic Partitioning in Amazon Kinesis Data Firehose
Today we announced Dynamic Partitioning in Amazon Kinesis Data Firehose. With Dynamic Partitioning, you can continuously partition streaming data in Kinesis Data Firehose using keys within data like “customer_id” or “transaction_id” and deliver data grouped by these keys into corresponding Amazon Simple Storage Service (Amazon S3) prefixes, making it easier for you to run high performance, cost-ef
AWS WAFのログから特定Cookieの機密情報をKinesis Data Firehose + Lambda関数でマスクしてS3に保存するIaCをCDKで実装する - Qiita
AWS CDK Advent Calendar 2023の記事です。終わっても空いてた枠にシュルっと入りました。 NewsPicksのSREチームでセキュリティ周りも担当しているあんどぅといいます。 AWS WAFを利用する中で少しニッチな、しかし重要なロギングについてCDKで実装した例をご紹介します。 ボリュームが多いので、同じような構成でCDKを利用して実装する方の参考になれば幸いです。 WAFのログは重要。プライバシー保護も重要 同じアドカレ内でも書かれていますが、WAFを運用していると誤遮断がつきものなので、WAFのログは非常に重要です。 WAFのルールを適用する際は、COUNTモードで適用して一定期間運用した後に、不正と判断されたリクエストのログを確認して、問題ない検知をしていることを確認してから、BLOCKモードでルールを適用するのが定石です。 なのでWAFのログは見る必要があ
Kinesis Data Analytics不要？Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでタンブリングウィンドウが利用可能になりました #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。先日12/15付けのアップデートでKinesis Data StreamsとDynamoDB Streamsから起動するLambdaにタンブリングウィンドウの設定が可能になりました。 少し時間が空いてしまいましたが、このアップデートについてご紹介します。 概要 今回のアップデートにより、Lambdaに流れてきたストリーミングデータの状態をウインドウ単位で管理できるようになりました。Lambdaというサービスはステートレスが基本で、複数の関数呼び出しを跨いで何かしらの状態を共有するにはDynamoDBのような外部データストアを利用するのが基本でした。今後はLambdaのサービス基盤だけで各ウィンドウの状態が管理できます。 具体的なイメージとしては以下のような処理が実現可能になりました。 ストリームに[1,2,3,4,5]というデータが投入される データがウィンド
[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO
コーヒーが好きな emi です。 Kinesis Data Streams にデータを流し込むときのデータの動きや構造を理解するために絵を描いてみました。 また、Lambda から Kinesis Data Streams に実際にデータを流し込み、挙動とデータの順番を見てみました。 Kinesis Data Streams の内部の仕組みと用語解説 見覚えのある方も多いかもしれませんが、Kinesis Data Streams のアーキテクチャは以下のようになっています。 プロデューサー プロデューサーと呼ばれる各種アプリケーションや AWS サービスから Kinesis Data Streams にデータを流し込みます。 コンシューマー Kinesis Data Streams からレコードを取得して処理します。 シャード 流れてくる一連のデータレコードを保持します。データが乗っかるベ
![[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b22e45515e901074206a3d756be13e4eb277a72/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Fkinesis-data-streams.png)
キーボード改造沼、さらなる深みへ。Keychron K11 Proのキーマップを変更して「廉価Kinesis」を作る（小寺信良） | テクノエッジ TechnoEdge
もうね、ほんといい加減にしないと読者に怒られると思ってはいるのだが、またもやKeychron K11 Proカスタマイズネタを投入する。 前回はキーキャップを高低2層構造にして、文字入力への最適化を図ったわけだが、キーマップの変更には失敗していた。Mac用のキーカスタマイズツール「Karabiner Elements」を使って変更しようとしたのだが、左右に分かれているキーのに同じキーコードを発しているものは区別できないので、どっちか1つだけを変更するといったことができなかった。 そんな話を書いたあと、西田さんからKeychronが提供するキーマップ変更ツール「VIA」を使ったらできるというヒントをいただいた。沼にはまった者同士が「1人だけ助かろうなんてズルい」と足を引っ張り合ってより深く沈んでいく光景を想像していただければ間違いない。「道連れ」である。 いや、そのVIAを使えという話はK1
DynamoDBの変更履歴をKinesis Firehose経由でS3に保存してAthenaで見る | DevelopersIO
DynamoDBのデータを更新したとき、DynamoDb Streams・Lambda・Kinesis Firehoseを経由してS3にファイルを格納し、Amazon Athenaで見る仕組みを作ってみました。 不具合の調査などをしているとき、「あのタイミングのDynamoDBテーブルのデータが分かれば助かるのに……」と思ったことは無いでしょうか？ 私はあります。 Lambdaで参照したDynamoDBテーブルのログデータを見ても良いのですが、下記のように影響範囲を調査する際は有効ではありません。（ログを調べれば分かるけど大変） この値が原因なのは分かった。いつからこの値になっていた……？ というわけで本記事では、DynamoDBテーブルの変更履歴をLambdaとKinesis Firehoseを経由してS3に格納し、Athenaで参照する仕組みを構築してみました。Partition Pr
[アップデート] ElastiCache for RedisのスローログをCloudWatch LogsやKinesis Data Firehoseにパブリッシュできるようになりました！ | DevelopersIO
コンサル部のとばち（@toda_kk）です。 表題の通り、ElastiCache for Redisの機能としてスローログをパブリッシュできるようになりました。 スローログを確認したい場合、これまではredis-cliなどを使いがんばってRedisノードから直接ログを取得する必要がありました。CloudWatch LogsやKinesis Data Firehoseを通して確認できるようになったおかげで、トラブルシューティングを容易にできると期待しています。 対応バージョンは6.x系以上のみ 2021年5月現在では、Redisバージョンが6.x系以上でないとスローログが設定できないようですので、ご注意ください。 パブリッシュを有効化する スローログのパブリッシュを有効化する手順を確認してみます。 Redisクラスターの設定 まずはRedisクラスターを作成します。このとき、スローログの有効
![[アップデート] ElastiCache for RedisのスローログをCloudWatch LogsやKinesis Data Firehoseにパブリッシュできるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6e8f225218e418fd610bbd39353356490abd80ce/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-elasticache.png)
DynamoDB StreamsとKinesis Data Firehoseを使ったサーバーレスリアルタイムETL - Qiita
何を書いた記事か 過去にDynamoDB Streams + Kinesis Data Firehose + Lambdaを用いたリアルタイムETLを検証した際のメモをこちらに転載します。 特にKinesis Data Firehoseの裏で動かすLambdaの実装に癖があったので、誰かの参考になれば幸いです。 前提 Webサービスなど展開していて、Database層にDynamoDBを採択している場合、そのデータを分析するための分析基盤構築手法として、Glueを用いたETLが一般的な選択肢になりうるのかなと思います。 最近DynamoDBのTableをS3にExportできる機能もGAになったので、フルダンプ＋日時バッチのデータ分析としてはそのような手法も使えるかもしれません。 しかし、DynamoDB上にあるデータをなるべくリアルタイムに分析基盤に連携したい、最低限のETL処理も挟みた
Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング 2021 年 11 月 30 日（米国時間）、新しいキャパシティーモードである Amazon Kinesis Data Streams On-demand をローンチしました。このキャパシティーモードでは、ストリーミングワークロードのキャパシティーのプロビジョニングと管理が不要になります Kinesis Data Streams はフルマネージド型のサーバーレスサービスであり、ストリーミングされたデータを大規模にリアルタイムに処理します。Kinesis Data Streams は、任意の数のソースから任意の量のデータを取得し、必要に応じてスケールアップおよびスケールダウンできます。2013 年 11 月に
Amazon Kinesis Data Streams + Protocol Buffersで実現するイベント駆動アーキテクチャー
アソビュー！ Advent Calendar 2020 の18日目です。 初めまして、アソビュー！SREのkirimaruです。 最近Amazon Kinesis Data Streams用の社内向けライブラリ「Pelican」を開発したのでその話を書こう！と思ったのですが、Amazon Kinesis Data Streamsの活用事例と合わせて、そもそもこのライブラリを開発する経緯をまず書こうと思います。 余談ですが僕のアイコンはこのライブラリ用のアイコンとして作ったのものです。 アソビュー！ Advent Calendar 2020 の2日目に上記の記事が投稿されています。 その中で今回の主題のひとつであるProtocol Buffersについて下記のように触れています。 🆕 Protocol Buffers / gRPC 以前の記事の時点では、RESTfulなAPIを利用するケー
AWS IoT 再入門ブログリレー Amazon Kinesis Video Streams編 | DevelopersIO
1 はじめに CX事業本部平内（SIN）です。 本企画は、弊社チームIoTメンバーが初心に返ってIoTサービスについて学びなおし、解説してみようというものです。 本エントリーでは、AWSへ動画をライブで簡単かつ安全にストリーミングできる「Amazon Kinesis Video Streams（以下、Kinesis Video Streams）」について紹介します。 Kinesis Video Streamsの主要な機能は、以下のとおりです。 数百万ものデバイスからのストリーミングデータを取り込むために必要な、すべてのインフラストラクチャ扱うマネージドサービス ストリーム内の動画データの耐久性に優れた保存、暗号化、インデックス作成 APIを介したデータへのアクセスが可能 ライブやオンデマンド視聴用の動画再生が可能 コンピュータビジョンと動画分析を活用するアプリケーションを迅速に構築可能 ビ
ECSのFireLensでFluent Bitの「CloudWatch」「Kinesis Firehose」「Kinesis Streams」プラグインを使う時の注意点 | DevelopersIO
みなさん、こんにちは！ 福岡オフィスの青柳です。 Amazon ECSのカスタムログルーティング機能である「FireLens」では、Fluent Bitをプラグインと共に使うことで、様々なサービスに対してログを転送することができます。 その中でも、AWSの下記サービスはログ転送先としてよく使われるのではないでしょうか。 CloudWatch Logs Kinesis Data Firehose Kinesis Data Streams 実は、Fluent Bitで上記サービスと連係するプラグインを利用する場合、ちょっとした注意点があります。 知っている人にとっては何ということはない話ですが、知らないと気付かずに「損」をしてしまいます。 タスク定義の書き方、どうしてますか？ 上に挙げた3つのプラグインは、AWSドキュメントに設定例として掲載されていますし、ググると設定サンプルも見つかります。
※上記はあくまで私の視点での評価です。Akkaの熟練者であれば評価が変わると思います。 Akkaを使いたかってみたったのですが、学習コストが他と比較してかかってしまうため今回はFlinkを使うことにしました。 またAkkaに詳しい方より、「Akkaはフレームワークではなく、ライブラリなので、フレームワークはAkkaをベースに作ってくれ」 という立ち位置であり、フレームワークと比較するとトレーサビリティなどで見劣りするかもしれませんと教えて頂きました。 後で後述しますが、Flinkにも内部でAkkaが使われていて、Akkaベースで作られておりました。 AkkaはSpark、またはFlinkよりも低レベルのライブラリで、より多くのパワーがあるが、考慮すべき考慮事項も多くなるということだということかなと思います。 Flinkの強み データの保証 Exactly once メッセージは欠損も重複も
Audioデータをクラウドに送ってみました。 MQTT(basic ingest) + Amazon Kinesis Data Streams + Amazon Kinesis Data Firehose + S3 (バイナリ) | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 ここまで、エッジ側のAudioデータをクラウドへ送信する要領をいくつか試してみました。 上記のうち、最後だけは、バイナリ型式でデータを送ってみたのですが、実は、AWS IoT SDKのMQTTクライアントのPublishもpayloadは、bufferとなってます。 https://awslabs.github.io/aws-crt-python/api/mqtt.html?#awscrt.mqtt.Connection.publish 今回は、AudioデータをJSON化せず、バイナリ形式のまま送信する要領を確認してみました。 2 構成 構成は、前回とほぼ同じです。 デバイスからは、500msec単位で、Audioデータ（バイナリ形式）とタイムスタンプ（バイナリ形式）を結合したものをPayloadとしてMQTTで送信します。 Amazon
[アップデート]DynamoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャできるようになりました | DevelopersIO
CX事業本部＠大阪の岩田です。 2020/11/23付けのアップデートによりKinesis Data Streams for DynamoDBが利用可能になりました。この機能を利用すると、DynanoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャすることが可能です。 これまでもDynamoDB ストリームを利用してDynamoDBの変更をキャプチャすることはできましたが、今回Kinesis Data Streamsによるサポートが追加されたことで、より高度なシナリオに対応できるようになりました。 例えばですが Kinesis Data Analyticsを利用してストリームされた変更内容を分析する Kinesis Data Firehoseを利用してS3やAmazonES、Redshiftといった別サービスにデータを投入する といったことが可能になりま
![[アップデート]DynamoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャできるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92798d27ecd714ee7e20f9cbdf99cfcf8d03aa46/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-dynamodb.png)
AWS CloudWatch Logs のログデータを S3 に配信する（Kinesis Data Firehose）
公開日 2021.1.16更新日 2021.1.19カテゴリ：AWSタグ：AWS,S3,CloudWatchLogs,KinesisDataFirehose,terraform
Jetson nanoで撮影した動画をAmazon Kinesis Video Streamsに配信してみる
はじめに このブログではJetson nanoを用いて4K動画を撮影する記事をいくつか掲載していますが、今回はJetson nanoで撮影した動画をAmazon Kinesis Videoに配信する方法をまとめます。 前回の記事で、Jetson nanoではGPUをフルに使っても、4K動画のライブキャリブレーション（魚眼レンズのリアルタイム画像補正）ができない事を書きましたが、Jetson nanoでダメであれば動画をクラウドに上げて高速なGPUを使って、処理しようという作戦です。 用意するもの ①ボードコンピュータ 今回の主役Jetson nanoです。Jetson nanoは安価な2GBモデルが発表になりましたが、今回は従来からある４Gモデルを利用します。 ・Jetson Nano 開発者キットは、最新の画像分類、物体検出、セグメンテーション、音声処理などのアプリケーションを小型サイズ
KinesisデータストリームをLambdaで処理する時のエラー制御方法をまとめてみた | DevelopersIO
次に、リトライ数を2にして再度エラーを発生させます。 初回呼び出しでエラーが起きた後、2回再試行し、合計3回実行して処理を終えました。 バッチ処理時に一部のレコードが原因でバッチ全体をリトライされるのを防ぐ バッチ処理時に一部のレコードが原因でバッチ全体が再実行されるのを防ぎたい場合 二分探索法(bisect)でバッチを分割し、エラーを誘発するレコードを含むバッチを絞り込む バッチ内で失敗したレコード(のシーケンス)を特定し、失敗箇所からやり直す の2種類のアプローチがあります。 前者はアプリケーション側の作り込みなしに、Kinesisの基盤側でエラーを絞り込んでくれますが、同じレコードに対して何度も再実行される可能性があり、バッチサイズが大きい場合は無駄が多くなります。 後者はアプリケーション側で軽微な作り込みが伴うため、複雑さが増す一方で、リトライ時にはエラー箇所から再実行され、先行す
Amazon Connectで自動ヒアリングした内容をBedrockで要約し、メール通知する（Kinesis Data Stream + Step Functions） | DevelopersIO
以下に構成図を示します。 処理の内容は以下のとおりです。 Lexボットでお問い合わせ内容をヒアリングする ヒアリング内容をコンタクト属性として保存する キー名：recording、値はヒアリング内容のテキスト 切断直後、問い合わせレコードがKDSにストリーミングされ、EventBridge Pipes経由でStep Functionsステートマシンを起動する 問い合わせレコードには、コンタクト属性（recording）、コンタクトID、発信元電話番号、日時などが保存されている ステートマシンでは以下の処理を行う ステートマシンに渡された問い合わせレコードから、ヒアリング内容であるコンタクト属性（recording）を取得する Bedrockを使用して、お問い合わせ内容の文章を整形する 整形した文章とコンタクトID、発信元電話番号等をAmazon SNSでメール送信する 以前、AWS Lam
Building a real-time notification system with Amazon Kinesis Data Streams for Amazon DynamoDB and Amazon Kinesis Data Analytics for Apache Flink | Amazon Web Services
AWS Big Data Blog Building a real-time notification system with Amazon Kinesis Data Streams for Amazon DynamoDB and Amazon Kinesis Data Analytics for Apache Flink August 30, 2023: Amazon Kinesis Data Analytics has been renamed to Amazon Managed Service for Apache Flink. Read the announcement in the AWS News Blog and learn more. Amazon DynamoDB helps you capture high-velocity data such as clickstre
New Relic drinks straight from the Firehose: Consuming Amazon Kinesis data | Amazon Web Services
AWS Big Data Blog New Relic drinks straight from the Firehose: Consuming Amazon Kinesis data February 9, 2024: Amazon Kinesis Data Firehose has been renamed to Amazon Data Firehose. Read the AWS What’s New post to learn more. New Relic can now ingest data directly from Amazon Kinesis Data Firehose, expanding the insights New Relic can give you into your cloud stacks so you can deliver more perfect
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kinesis Advantage360 Ergonomic Keyboard
高機能エルゴノミクスキーボード「Kinesis Advantage2」の進化がすごかった
All-New Kinesis FORM Split Touchpad Keyboard
Kinesis Data Firehose をゼロからざっくり理解する | DevelopersIO
Apache Flinkを使いKinesisストリームデータを処理する
www.smartnews.com
baken-seikatsu.com
kabuyaku.com
expediaofficialus.amebaownd.com
www.sankei.com
xtech.nikkei.com