Amazon Redshift の新機能 — Kinesis データストリームのストリーミングインジェスト、および Managed Streaming for Apache Kafka の一般提供について | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift の新機能 — Kinesis データストリームのストリーミングインジェスト、および Managed Streaming for Apache Kafka の一般提供について 10 年前、私が AWS に入社してからわずか数か月後に、Amazon Redshift はローンチされました。長年にわたり、パフォーマンスを向上させ、使いやすくするために多くの機能が追加されてきました。Amazon Redshift では、SQL を使用して、データウェアハウス、運用データベース、データレイクにわたって構造化データと半構造化データを分析できるようになりました。最近では、データウェアハウスインフラストラクチャを管理しなくても簡単に分析を実行およびスケーリングできるように、Amazon Redshift サーバーレスが一般公開
マテリアライズドビューへのストリーミング取り込み - Amazon Redshift
ストリーミング取り込みでは、Amazon Kinesis Data Streams や Amazon Managed Streaming for Apache Kafka から、Amazon Redshift でプロビジョニングされたビューや Amazon Redshift Serverless データベースへの、低レイテンシーかつ高速のデータインジェストを行います。データは、目的に合わせて設定された Redshift マテリアライズドビューに到達します。このため、外部データへのアクセスが高速化されます。ストリーミング取り込みは、データアクセス時間を短縮し、ストレージコストを削減します。ストリーミング取り込みは、SQL コマンドの小さなコレクションを使用して、Amazon Redshift クラスターまたは Amazon Redshift Serverless ワークグループ用に設定できま
Kinesis Data Streams を使用したクロスアカウントクロスリージョンログデータ共有 - Amazon CloudWatch Logs
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Kinesis Data Streams を使用したクロスアカウントクロスリージョンログデータ共有 クロスアカウントサブスクリプションを作成するときに、単一のアカウントまたは組織を送信者として指定できます。組織を指定した場合、この手順により組織内のすべてのアカウントがレシーバーアカウントにログを送信できるようになります。 複数のアカウントでログデータを共有するには、ログデータの送信者と受信者を確立する必要があります。 ログデータ送信者 — 受信者から送信先情報を取得し、指定した送信先にログイベントを送信する準備ができていることを CloudWatch Logs に通知します。このセクションの残りの手順では、ログデータ送信者は架空の AWS アカウント番号 11111
Amazon Kinesis Data Streams の用語と概念 - Amazon Kinesis Data Streams
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon Kinesis Data Streams の用語と概念 Kinesis Data Streams の高レベルアーキテクチャを確認する 以下の図に、Kinesis Data Streams のアーキテクチャの概要を示します。プロデューサーは継続的にデータを Kinesis Data Streams にプッシュし、コンシューマーはリアルタイムでデータを処理します。コンシューマー (Amazon で実行されているカスタムアプリケーションEC2や Amazon Data Firehose 配信ストリームなど) は、Amazon DynamoDB 、Amazon Redshift、Amazon S3 などの AWS サービスを使用して結果を保存できます。 Kin
KPL の主要なコンセプト - Amazon Kinesis Data Streams
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 KPL の主要なコンセプト 以下のセクションでは、Kinesis Producer Library () を理解して利点を得るために必要な概念と用語について説明しますKPL。 レコード このガイドでは、KPLユーザーレコードと Kinesis Data Streams レコードを区別します。修飾子なしでレコードという用語を使用する場合、KPLユーザーレコード を参照します。Kinesis Data Streams レコードを意味するときは、明示的に Kinesis Data Streams レコードと表現します。 KPL ユーザーレコードは、ユーザーにとって特定の意味を持つデータの BLOB です。例としては、ウェブサイトの UI イベントを表す JSON BLOB
Amazon で Kinesis プロデューサーライブラリをモニタリングする CloudWatch - Amazon Kinesis Data Streams
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon で Kinesis プロデューサーライブラリをモニタリングする CloudWatch Amazon KinesisKinesis Data Streams の Kinesis プロデューサーライブラリ (KPL) は、ユーザーに代わってカスタム Amazon CloudWatch メトリクスを発行します。これらのメトリクスを表示するには、CloudWatch コンソールに移動し、カスタムメトリクス を選択します。カスタムメトリクスの詳細については、「Amazon ユーザーガイド」の「カスタムメトリクスの発行」を参照してください。 CloudWatch CloudWatch によって にアップロードされたメトリクスには少額の料金がかかりますKPL。具体的
AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
Amazon Kinesis プロデューサーライブラリを使用したプロデューサーの開発 (KPL） - Amazon Kinesis Data Streams
KPL 最新バージョンにアップグレードすることをお勧めします。KPL は、最新の依存関係とセキュリティパッチ、バグ修正、下位互換性のある新機能を含む新しいリリースで定期的に更新されます。詳細については、https://github.com/awslabs/amazon-kinesis-producer「/releases/」を参照してください。 のロールを確認する KPL KPL は easy-to-use、Kinesis データストリームへの書き込みに役立つ、高度に設定可能な ライブラリです。プロデューサーアプリケーションコードと Kinesis Data Streams APIアクションの間の仲介として機能します。は、次の主要なタスクKPLを実行します。 自動的で設定可能な再試行メカニズムにより 1 つ以上の Kinesis Data Streams へ書き込む レコードを収集し、Pu
[速報] CloudWatchの監視メトリクスをKinesis経由でストリーム送信可能な新機能「CloudWatch Metric Streams」が登場しました！ | DevelopersIO
Amazon CloudWatch に新しい機能、Metric Stream が登場しました！ いままでCloudWatchのメトリクスデータを、New RelicやDatadogのような外部のSaaSから参照しようと思ったら、定期的にAPIでポーリングするしかありませんでした。そのため、（この公式Blogにも書いてますが）メトリクスの種類によっては5〜10分程度の遅延が発生することになってました。 今回の機能で、CloudWatch側で更新されると同時にSaaS側へもpushされることになるため、同じタイミングで参照できるようになります。これはうれしいですね！ CloudWatch Metric Streamで出来ること 要は、CloudWatch MetricのデータをKinesis Data Firehoseに流し込むことができる機能です。 Firehose はストリームデータをS3
![[速報] CloudWatchの監視メトリクスをKinesis経由でストリーム送信可能な新機能「CloudWatch Metric Streams」が登場しました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2cd56545af48138769ce47d03f22d7baac20b923/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-cloudwatch.png)
ストリーミングビデオの分析結果の読み取り - Amazon Rekognition
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 ストリーミングビデオの分析結果の読み取り Amazon Kinesis Data Streams クライアントライブラリを使用して、Amazon Kinesis Data Streams 出力ストリームに送信された分析結果を消費することができます。詳細については、「Kinesis Data Streams からのデータの読み取り」を参照してください。Amazon Rekognition Video は、分析された各フレームの JSON フレームレコードを Kinesis 出力ストリームに配置します。Amazon Rekognition Video は、Kinesis ビデオストリームを通じて渡された全てのフレームを分析するわけではありません。 Kinesis データ
Amazon Kinesis StreamsとAmazon Kinesis Firehoseは何が違うのか | DevelopersIO
こんにちは、せーのです。 先日のRe:InventでKinesisの体系が変わりまして、「Kinesis Family」「Kinesis三兄弟」なんて言われるようになりました。 今まではKinesisの一機能として「Kinesis Streams」というのがあったのですが、それがメインのサービスとして昇華し、新たに「Kinesis Firehose」「Kinesis Analytics」が増えて現在の形になりました。 今回はそのうち混同しやすい「Kinesis Firehose」と「Kinesis Streams」の使い分けについてご紹介したいと思います。 やろうと思えば両方できる Kinesis Streamsは次々と送られる大量のデータをリアルタイムに収集、次のサービスに配送するためのサービスです。一方Kinesis Firehoseは同じく次々と送られる大量のデータをRedShift
Spark StreamingからAmazon Kinesis Analyticsへ移行する話 - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の森本です。主な業務は記事配信アルゴリズムの改善とログ基盤の整備です。 Gunosyでは、ユーザーへより良い記事を提供するためにアクセスログをストリーム処理し、集計結果を記事配信アルゴリズムに活用しています。 ストリームログ基盤にはSpark Streamingを利用していますが、現在Kinesis Analyticsへ移行中です。 この記事ではKinesis Analyticsへ移行する理由や運用上のTips等についてお話します。 Spark Streamingを利用したストリームログ基盤構成 現在のストリームログ基盤はSpark Streamingで集計を行い、結果をRDSに保存しています。 なぜSpark StreamingからKinesis Analyticsへ移行するのか サーバーコストと運用コストの削減を目的としています。 サーバーコストについ
KinesisとSQSの比較検討のため、Amazon Kinesis Data Streams のチュートリアルをやってみた | DevelopersIO
モバイルアプリサービス部の五十嵐です。 KinesisとSQSの比較検討のため、Kinesisをより知るために公式のチュートリアルをさわってみました。 前提知識として 前提知識として、ストリームとシャード、プロデューサーとコンシューマーなどの用語の意味を抑えておくといいと思います。AWS Black Belt Online Seminarのスライドがわかりやすかったので紹介しておきます。 AWS Black Belt Online Seminar 2017 Amazon Kinesis チュートリアル チュートリアル: Amazon Kinesis Data Streams を使用したウェブトラフィックの可視化 - Amazon Kinesis Data Streams 概要 このサンプルアプリケーションは、さまざまな URL からのシミュレート上の閲覧者の数を Kinesis data
Kinesis エージェントを使用した Amazon Kinesis Data Streams への書き込み - Amazon Kinesis Data Streams
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Kinesis エージェントを使用した Amazon Kinesis Data Streams への書き込み Kinesis エージェントはスタンドアロンの Java ソフトウェアアプリケーションであり、データを収集して Kinesis Data Streams に送信する簡単な方法です。このエージェントは一連のファイルを継続的に監視し、新しいデータをストリームに送信します。エージェントはファイルのローテーション、チェックポイント、失敗時の再試行を処理します。タイムリーで信頼性の高い簡単な方法で、すべてのデータを提供します。また、ストリーミングプロセスのモニタリングとトラブルシューティングに役立つ Amazon CloudWatch メトリクスも出力されます。 デフ
Kinesis Streams/Firehose/Analyticsを試す - sambaiz-net
https://aws.amazon.com/jp/kinesis/ リアルタイムのストリーミングデータを扱うサービス群。 いまのところTokyoリージョンではKinesis Streamsしか使えない。 Kinesis Firehose AWSのデータストアに送るストリーム。自分でデータを読む処理を書かなくてよく、スケーリングも勝手にやってくれるので簡単に使える。 https://aws.amazon.com/jp/kinesis/firehose/faqs/ Q: 送信先とは何ですか? 送信先はデータが配信されるデータストアです。Amazon Kinesis Firehose では、 現在送信先として Amazon S3、Amazon Redshift、Amazon Elasticsearch Service がサポートされています。 料金は取り込まれたデータ量による。 一見そんなに高
[AWS]kinesisまとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWSのkinesisについて学んだ事をまとめます。 kinesisの概要やベストプラクティス、豆知識取得のためにどうぞ。 1 kinesisとは AWS kinesisには大きく分けて3つの機能があります。 Amazon Kinesis Data Streams Amazon Kinesis Data Firehose どちらもコンピュータから送られてくるログやイベントデータ等の大量のデータを高速に別のサービスに転送するためのサービス。 違いや使い分けについてはコチラのサイトで詳しく解説されていました。 https://dev.cla
![[AWS]kinesisまとめ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e4dda7c6c910f129f845e476678d7fa1186938af/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTVEa2luZXNpcyVFMyU4MSVCRSVFMyU4MSVBOCVFMyU4MiU4MSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YTYyMzBjNzMzMzY2NzQ5OGQ4OTUxYTllZDA2Njc5ZDg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5U2hpZyZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YTdmNTFlZTIzNDFmOTRmMzEwMDZhN2IyNWMyYTU0NTA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D11dab5c29ffc02e6ad46925dfbd997dc)
[レポート]ANT398 – Amazon Managed Streaming for Kafka (Amazon MSK)入門 #reinvent | DevelopersIO
本記事はAWS re:Invent 2018のSession「ANT398 - [NEW LAUNCH!] Introducing Amazon Managed Streaming for Kafka (Amazon MSK)」のレポートです。 re:Invent 中に発表された Apache Kafka のフルマネージドサービス「Amazon Managed Streaming for Kafka (Amazon MSK)」の入門セッションです。 セッションについて スピーカー Damian Wylie - Principal Product Manager 概要 Discover the power of running Apache Kafka on a fully managed AWS service. In this session, we describe how Amazo
![[レポート]ANT398 – Amazon Managed Streaming for Kafka (Amazon MSK)入門 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/69d5e5df38c6d27d133baa3f894a2379a68db070/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_reinvent-2018-city_1200x630.jpeg)
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 2016/06/03(金)のAWS Summit Tokyo 2016でクックパッド株式会社の星さんが「秒間数万のログをいい感じにするアーキテクチャ」という発表をされました。 クックパッドのログ収集基盤が Fluentd や Amazon Kinesis Streams や Redshift を活用していい感じするアーキテクチャが参考になった方は非常に多いと思います(あの規模のサービスに関わるかはともかく)。 発表の中でKinesis Producer Library(以下 KPL)を使ってログ数多すぎ問題を解決したことが語られていました。 個人的には、Kinesis Streams のシャード数を増やせばどうにかなるレベルのサービスしか担当したことがない
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AmazonKinesisDataStreams_0430_v1.pdf
GitHub - awslabs/kinesis-kafka-connector: kinesis-kafka-connector is connector based on Kafka Connect to publish messages to Amazon Kinesis streams or Amazon Kinesis Firehose.
