Amazon Kinesis Data StreamsにTwitter検索データを送信する - ヤマムギ
Kinesis Data Streamsの作成 ストリーム名とシャード数を決定するだけです。 シャードは 「各シャードは最大で 1 MiB/秒および 1000 レコード/秒を取得し、最大 2 MiB/秒を出力します。」 ということですので、1レコード1kbなさそうなレコードを最大100件送信するのでシャードは1つで足りそうです。 シャードエスティメーターで確認しても問題なさそうです。 作成されました。 シャードの数、タグ以外の設定は、サーバー側の暗号化、データ保持期間、シャードレベルメトリクスでした。 デフォルトの24時間、暗号化なし、シャードレベルの追加メトリクスなしにしました。 AWS CLI を使用した基本的な Kinesis Data Stream オペレーションの実行の手順でレコードの送信、受信をやってみました。 送信 $ aws kinesis put-record --str
Kinesis+Lambda構成での、処理遅延を監視する | フューチャー技術ブログ
はじめにフューチャー棚井龍之介です。 本ブログでは、サーバレス連載の第1日目として、「Kinesis+Lambda構成」でのメトリクス監視について取り上げます。 データ流入量が徐々に増加する見込みのとき、各リソースのどのメトリクスを重点チェックすべきか。また、メトリクスがリソースの制限にぶつかった場合やアラート検知された場合にどのような対応アクションを取るべきか。KinesisやLambdaのリソース監視設定から得た知見を、本ブログに整理しました。 そもそもの「サーバレスって、何が便利なんだっけ？」から整理したい方は、AWS公式のグラレコ解説記事をご覧ください。 今回のサーバレス構成「Amazon Kinesis Data Streamでデータを受け、AWS Lambdaがコンシュームする構成」を本ブログで想定する環境とします。 AWS本家の形で考えるサーバレス設計でも「流入データの連続処
全国のスーパーに置かれる storeTV 端末の情報の取得にかかる時間を15分から10秒にした話 - クックパッド開発者ブログ
こんにちは。 メディアプロダクト開発部の柴原です。 普段は CookpadTV のサービスである storeTV や storeLive の Android アプリを開発を担当しています。 storeTV では現在、サービスを高品質に継続開発・運用するための仕組みづくりをしており、この記事ではその中の1つである「端末が再生した動画をリアルタイムで把握する機能」について紹介します。 このリアルタイムログの導入でもともと実際の端末で動画再生がされているのかを確認するのに15分かかっていたものが10秒程度に短縮できました。 storeTV とは storeTV は、スーパーで料理動画を流すサービスで、店頭に独自の Android 端末を設置し、その売り場に適したレシピ動画を再生するサービスです。 より詳しいサービス概要にについては、弊社メンバーの Cookpad TechConf 2018 にお
Amazon SES の E メール送信履歴の保存と表示
Amazon Simple Email Service (Amazon SES) でE メール送信履歴を確認したいと考えています。 解決策 Amazon OpenSearch service と Amazon Kinesis を使用して、Amazon SES の送信履歴を保存および表示します。 Amazon OpenSearch Service ドメインを作成する Amazon SES の送信履歴を保存するには、Amazon OpenSearch Service ドメインを作成します。OpenSearch Service は、パブリックネットワーク、または Amazon Virtual Private Cloud (Amazon VPC) に配置できます。OpenSearch Service ドメインに使用するネットワークのタイプの詳細については、「VPC 対パブリックドメイン」を参照して
[AWS]kinesisまとめ - Qiita
AWSのkinesisについて学んだ事をまとめます。 kinesisの概要やベストプラクティス、豆知識取得のためにどうぞ。 1 kinesisとは AWS kinesisには大きく分けて3つの機能があります。 Amazon Kinesis Data Streams Amazon Kinesis Data Firehose どちらもコンピュータから送られてくるログやイベントデータ等の大量のデータを高速に別のサービスに転送するためのサービス。 違いや使い分けについてはコチラのサイトで詳しく解説されていました。 https://dev.classmethod.jp/cloud/aws/difference-between-kinesis-streams-and-kinesis-firehose/ 一言で言うなら Amazon Kinesis Data Streamsのほうが速い。 Amazon
![[AWS]kinesisまとめ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/083d7ab50b657c9e4876cd40660d6e5876898052/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTVEa2luZXNpcyVFMyU4MSVCRSVFMyU4MSVBOCVFMyU4MiU4MSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDJlNjE0MTVhOWViM2ViOTUwOTMwOTI4OTJhN2ViZTY%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5U2hpZyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MTBlZmVlMmNjYmNjY2ZiYmQxZTQwYjk3ZDhhMjU5YzY%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D1b09b62e5248629c1a7e6ea53efb7a70)
リアルタイムログ出力をサポートしたCloudFrontを試してみた | DevelopersIO
AWSチームのすずきです。 Amazon CloudFront、リアルタイムなアクセスログ出力をサポートするアップデートがありました。 Amazon CloudFront announces real-time logs Kinesis Data Streams へのログ出力設定と、アクセスログが参照可能になるまでのタイムラグを確認する機会がありましたので、紹介させていただきます。 AWS設定 Kinesis バージニア(us-east-1)リージョンに、Kinesis Data Stream を設置しました。 今回、シャード数は「1」で設定しました。 ログが発生量が多くスロットルが発生する場合には、シャード数を適量まで追加してご利用ください。 CloudFrontダッシュボードに「Logs」が追加されました。 「Real-time log configurations」の「Create
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - awslabs/aws-fluent-plugin-kinesis: Amazon Kinesis output plugin for Fluentd
