Serverless Architecture and Best Practices
by Brent Rabowsky, Solutions Architect & Itzik Paz, Solutions Architect, AWS As serverless architectures become more popular, customers need a framework of patterns to help them identify how they can leverage AWS to deploy their workloads without managing servers or operating systems. This session describes re-usable serverless patterns while considering costs. For each pattern, we provide operati
how-netflix-monitors-applications-in-near-realtime-w-amazonkinesis-abd401-reinvent-2017
How Netflix Monitors Applications in Near Real-time w Amazon Kinesis - ABD401 - re:Invent 2017 Thousands of services work in concert to deliver millions of hours of video streams to Netflix customers every day. These applications vary in size, function, and technology, but they all make use of the Netflix network to communicate. Understanding the interactions between these services is a daunting c
CloudWatch LogsをKinesis Stream経由でLambdaからLogentriesに転送する - Qiita
背景 サーバーレスアーキテクチャに限らず小さなバッチやサービス等で AWS Lambda を使う場面は増えてきていますが、ログの出力と管理については大変です。ログはマネージメントサービスに任せてしまうと楽ですが、そのサービスにどのように送るべきかはログの量によって考慮が必要です。 基本的に Lambda のログは CloudWatch Logs に出力されます。CloudWatch Logs から直接別の Lambda にストリーミングすることもできます。この後述の Lambda からログマネージメントサービスに転送することができます。しかしこの方法はキック頻度が高いため、Lambda の同時実行数が跳ね上がってしまいます。そこで CloudWatch Logs から Kinesis にストリーミングして、さらに Lambda を叩くことを考えました。Kinesis Stream 経由では
ステップ 1: 送信先を作成する - Amazon CloudWatch Logs
aws kinesis create-stream --stream-name "RecipientStream" --shard-count 1 ストリームがアクティブになるまで待ちます。aws kinesis describe-stream コマンドを使用して、StreamDescription.StreamStatus プロパティを確認できます。さらに、StreamDescription.StreamARN 値は後で CloudWatch Logs に渡されるため、書き留めておきます。 aws kinesis describe-stream --stream-name "RecipientStream" { "StreamDescription": { "StreamStatus": "ACTIVE", "StreamName": "RecipientStream", "Stream
Ryo Suzuki
KINESUSHI 2016(仮) Kinesis Stream、Firehose、Analyticsでサーバレス
Introduction to Amazon Kinesis Analytics
Amazon Kinesis Analytics is the easiest way to process streaming data in real time with standard SQL without having to learn new programming languages or processing frameworks. Amazon Kinesis analytics enables you to create and run SQL queries on streaming data so that you can gain actionable insights and respond to your business and customer needs promptly. In this session, we will provide an ove
Fluentd&Kinesis&Lambdaによる柔軟で高可用性なログ収集基盤の構築 - Qiita
概要 Fluentdによるログ収集基盤を、Lambda&Kinesisを利用した形で構成を変更したので、その時のメモ。 先に一言で感想を述べるのであれば、巷の噂通り、Kinesis&Lambdaは素敵でした。 Fluentd Aggregatorが抱える問題点 ログデータをFluentdのForwarder & Aggregatorを経由し、S3とRedshiftに保存するような構成でしたが、Aggregatorは冗長化しづらくボトルネックとなっていました。 ログ収集に求める要件 ログ収集の構成を改善するにあたり、先に挙げた目の前の問題点を解決するのは勿論ですが、他にも様々な要件があり、大別すると以下4つ。 信頼性: データをロスなく収集することができる。 安定性: ログ量に関係なく安定的なパフォーマンスを維持できる。 冗長性: 安全かつ簡単にスケーリングが可能 汎用性: 複数ログを複数サ
【新機能】Kinesis Analyticsが利用可能になりました！ ｜ DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 8/10〜11に開催していたのAWS Summit New York 2016のKeynoteの中で、Kinesis Analyticsが利用可能になったという発表がありましたので試してみました。 Kinesis Analytics Kinesis Analyticsはre:Invent 2015で発表されたストリームデータ処理サービスです。当時は来年に使用可能になるとの発表のみで詳細が不明でしたが、ようやく利用可能になりました。 Kinesis Analyticsはストリームデータに対してSQLで処理を行う機能です。Kinesis Stream ＋ Lambdaでもストリーム処理は可能ですが、基本的には1レコード単位か１回に取り出したデータしかまとめて処理ができませんでした。Kinesis Analyticsでは、データの変換を行った
[新機能]Kinesis Streamsがシャード単位のメトリクスに対応しました | DevelopersIO
2016/04/19のアップデートにより、Kinesisストリームはシャード単位のメトリクス(shard level metrics)に対応しました。 Amazon Kinesis アップデート – Amazon Elasticsearch Service との統合、シャード単位のメトリクス、時刻ベースのイテレーター | Amazon Web Services ブログ 従来はストリーム単位のメトリクスにしか対応していませんでしたが、今回の機能追加により シャード間のレコードの偏り データ処理の止まっているシャード データ処理遅延の発生しているシャード などを簡単に検出できるようになりました。 機能概要 シャード単位メトリクスを有効にするには? シャード単位のメトリクスは RDS にもあるEnhanced Monitoring(拡張モニタリング)の形で提供され、標準では無効化されています。ま
[新機能]Kinesis Streamsが時刻ベースのイテレーターに対応しました | DevelopersIO
ユースケース Lambda関数のバグなどにより、Kinesis Stream でバッファリングされたレコードを途中からやり直さなければいけない時、これまでは再開開始するシーケンス番号をがんばって探し当てていましたが、今後は不具合発生日時がわかっていれば、その日時を指定するだけで済みます。 機能の使い方 Kinesis Streamの設定変更は不要です。 GetShardIterator API 呼び出し時に ShardIteratorType に AT_TIMESTAMP Timestamp に基点となるユニックスタイム を指定するだけです。 従来の ShardIteratorType はTypeだけを指定すれば済みましたが、ShardIteratorType 引数に AT_TIMESTAMP を指定した場合は、Timestamp 引数で起点となるタイムスタンプの指定も必要です。 以下では
Amazon Kinesis エージェントの更新情報 – 新しいデータ事前処理機能 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis エージェントの更新情報 – 新しいデータ事前処理機能 Amazon Kinesis エージェント用の新しいデータ事前処理機能について同僚の Ray Zhu が説明したゲスト投稿を以下に掲載します。 – Jeff Amazon Kinesis エージェントは、Amazon Kinesis Streams や Amazon Kinesis Firehose にデータを信頼性の高い方法で簡単に送信できるようにする、スタンドアロンの Java ソフトウェアアプリケーションです。エージェントはファイルセットを監視して新しいデータを検出し、Kinesis Streams または Kinesis Firehose に連続的に送信します。ファイルのローテーション、チェックポイント処理、および失敗時の再試行も処理します。また、Am
Amazon Kinesis Update – Amazon Elasticsearch Service Integration, Shard-Level Metrics, Time-Based Iterators | Amazon Web Services
AWS News Blog Amazon Kinesis Update – Amazon Elasticsearch Service Integration, Shard-Level Metrics, Time-Based Iterators September 8, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. See details. Amazon Kinesis makes streaming data easy in the cloud.The Amazon Kinesis platform is comprised of three distinct services: Kinesis Streams allows developers to build thei
AWS News Blog
Stop the CNAME chain struggle: Simplified management with Route 53 Resolver DNS Firewall Updated 2 May 2024: I removed the reference to Route53 Alias that was incorrectly referred as a chain Starting today, you can configure your DNS Firewall to automatically trust all domains in a resolution chain (such as aCNAMEor DNAMEchain). Let’s walk through this in nontechnical terms for those unfamiliar wi
SORACOM BeamでAmazon KinesisのTLS処理をオフロードする #soracom | DevelopersIO
ども、大瀧です。 長らくステルスモードだったIoTプラットフォームのスタートアップ、SORACOM, INCのサービスが発表されました。 早速試してみたレポートを2本と応用編としてSORACOM Beamの設定例を2本、同時公開します！ 新IoTプラットフォームSORACOMを試してみた 3GPi on Raspberry Pi 2 + SORACOM Air SIMでインターネットに接続する SORACOM BeamでFluent Bitからセキュアにセンサーデータを転送する SORACOM BeamでAmazon KinesisのTLS処理をオフロードする【本記事】 本エントリーでは、AWSのストリーミングデータ処理サービスAmazon KinesisへのHTTPS通信のTLS暗号化をBeamにオフロードする構成を紹介します。 構成の概要 図に示すと以下のようになります。 通常のKin
Amazon Kinesisのレコードにタイムスタンプ属性が追加されました | DevelopersIO
ども、大瀧です。 昨日、Amazon Kinesisのアップデートがありレコードにタイムスタンプ属性が追加されました。 Amazon Kinesis Server-side Timestamp レコードのApproximateArrivalTimestamp属性にKinesisがレコードを受信したおおよその時刻がUNIXタイムスタンプの形式で含まれます。AWS CLIでGetRecordsをコールしてみました。 $ aws kinesis get-shard-iterator --stream-name OtakiTest --shard-id shardId-000000000000 --shard-iterator-type TRIM_HORIZON XXXXXXXXXX $ aws kinesis get-records --shard-iterator XXXXXXXXXX { "
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Spark’s Structured Streaming with Amazon Kinesis on Databricks
Announcement: ELB stickiness updates to support Feb 2020 Chromium CORs changes
秒間数万のログをいい感じにするアーキテクチャ
GitHub - mhart/kinesalite: An implementation of Amazon's Kinesis built on LevelDB
Big DataとContainerとStream - AWSでのクラスタ構成とストリーム処理 -
