タグ

kinesisとLambdaに関するkimutanskのブックマーク (5)

  • Serverless Architecture and Best Practices

    by Brent Rabowsky, Solutions Architect & Itzik Paz, Solutions Architect, AWS As serverless architectures become more popular, customers need a framework of patterns to help them identify how they can leverage AWS to deploy their workloads without managing servers or operating systems. This session describes re-usable serverless patterns while considering costs. For each pattern, we provide operati

    Serverless Architecture and Best Practices
    kimutansk
    kimutansk 2017/12/12
    Stream処理はLambda Enrichment/Transformationはすんなり行けるとは思いますが、BatchでSplitter/Mapper/ReducerをLambdaで・・・いや、できるとは思いますが、ここまでやるかか。
  • CloudWatch LogsをKinesis Stream経由でLambdaからLogentriesに転送する - Qiita

    背景 サーバーレスアーキテクチャに限らず小さなバッチやサービス等で AWS Lambda を使う場面は増えてきていますが、ログの出力と管理については大変です。ログはマネージメントサービスに任せてしまうと楽ですが、そのサービスにどのように送るべきかはログの量によって考慮が必要です。 基的に Lambda のログは CloudWatch Logs に出力されます。CloudWatch Logs から直接別の Lambda にストリーミングすることもできます。この後述の Lambda からログマネージメントサービスに転送することができます。しかしこの方法はキック頻度が高いため、Lambda の同時実行数が跳ね上がってしまいます。そこで CloudWatch Logs から Kinesis にストリーミングして、さらに Lambda を叩くことを考えました。Kinesis Stream 経由では

    CloudWatch LogsをKinesis Stream経由でLambdaからLogentriesに転送する - Qiita
    kimutansk
    kimutansk 2017/02/28
    やはりこうやって中身を抽出する必要はありますよね。バイナリをKinesisに投入して扱うのは中々厳しい。
  • S3、Kinesis/DynamoDB StreamsでのLambdaリトライ処理 - Qiita

    こちらの記事の内容と現在のリトライ動作は異なっています。 詳細は下記の公式ドキュメントを参照してください。 エラー時のリトライ - AWS Lambda公式ドキュメント AWS Lambda のイベントソースごとの呼び出しタイプ - Qiita 概要 Lambda ファンクション内で context.done() の第1引数に null 以外の値を渡すと処理失敗となりリトライが発生する。 各イベントソースによるリトライ処理を調べてみた。 処理失敗時には 3 分後に再度ファンクションが呼び出される。 context.invokeid は前回と同じ値になる。 リトライを含めて最大 3 回実行される。 ETagの比較 US Standard は全ての操作で結果整合性、それ以外のリージョンでは新規作成以外の操作で結果整合性をもって動作する。 Lambda に限らず S3 のオブジェクトを取得する場

    S3、Kinesis/DynamoDB StreamsでのLambdaリトライ処理 - Qiita
    kimutansk
    kimutansk 2015/01/16
    Kinesisから起動されたイベントは失敗した場合は再実行されますか。あれ。てことは本当にKinesisから直接Getせずともアプリが組めるようになる・・・
  • Kinesisで収集したデータをLambdaからkintoneに入れてみる - Qiita

    はじめに 前回の記事でArduinoに付けた温度センサからRaspberry Pi経由でAWSにあげていたのですが、やはり温度変化をグラフでみたいなと思い、今回は、温度データをKinesisにPutし、Lambdaでデータを取得してkintoneに入れてグラフィカルにみることにチャレンジしてみました。 kintoneを使った理由は、プログラミングせずにリッチなアプリが簡単に作れるのとUIがとてもわかり易く、グラフ集計なども簡単にできるためです。 全体構成 今回は、温度データをKinesis, Lambdaを介してkintoneに入れる構成を作りました。 Raspberry Piから直接kintoneAPIコールすることも可能ですが、KinesisとLambdaを介すことでETL処理、他のデータとのJoinなどができるようになると思います。今回は、一定間隔で一括取得したデータの平均をLam

    Kinesisで収集したデータをLambdaからkintoneに入れてみる - Qiita
    kimutansk
    kimutansk 2015/01/16
    KinesisのPut処理をLambda側でフックするならこれでできますか。実質これで失敗対応しないならKinesisのGetせずにすべてこれで賄えるような・・・
  • Kinesisにリクエストを流してLambdaからS3上のJSを動的に実行する - Qiita

    概要 S3 に JavaScript のモジュールを置き、そのバケット名とオブジェクトキーを Kinesis ストリームに流すことで Lambda から動的に JS を呼び出し実行してみる。 何に使うんでしょうね。 サンプルコード ローカルに書き出したファイル名に context.invokeid を使うことで require にキャッシュされることはなくなった。 つまり遅い。 つまりステートレスと言っているけど require の結果はキャッシュされているみたい。 Lambda function var fs = require('fs'); var aws = require('aws-sdk'); var s3 = new aws.S3({apiVersion: '2006-03-01'}); exports.handler = function(event, context) {

    Kinesisにリクエストを流してLambdaからS3上のJSを動的に実行する - Qiita
    kimutansk
    kimutansk 2015/01/16
    KinesisのShardIdとシーケンスも出てくるということはKinesisの1Put毎にLambdaをフック可能と。呼び出し回数がすごいことになりそうですが、それは大丈夫なんですかね・・・
  • 1