S3トリガーでLambdaを使うときの、イベント抜けに対する一つの解法 - Qiita
これは初老丸Advent Calendar 2017の15日目の記事です。 S3トリガーのLambda 皆さんLambda使ってますか？Lambdaいいですよね！ 特にS3をトリガーに使うと、外部からの処理開始の契機はS3にファイル置くだけだし、どんどん置いていったら適当に並列にLambdaが呼ばれてスケールするしで性能のことも何も考えなくていいので最高です(たぶん)。 ただ、ちょっと注意点もあります。それは、「S3のイベント発火はたまに抜けが出る」という問題です。公式ドキュメントのどこに書いてあるかは探しきれてませんが、実際結構抜けます。 例 ここでは例として以下のようなアーキテクチャを考えます。 適当なバケットを作って、そこにファイルが置かれたらLambdaが起動する 起動したLambdaはそのファイルを処理する 処理が終わったらそのファイルを同じバケット内の「bak」というフォルダに
CircleCI を使って C# で書いた AWS Lambda Function のデプロイを自動化する - しばやん雑記
前までは AWS Lambda のコードを GitHub で管理する方法に悩んでいたんですが、C# 対応で .NET Core のツールが用意されたので CircleCI などでビルドしてデプロイすることが簡単になりました。 C# サポートについて発表されたブログでも、下の方に dotnet CLI が便利に使えるよって書いてました。 The Amazon.Lambda.Tools NuGet package adds commands to the new dotnet CLI that allow you to deploy your Lambda functions and serverless applications to AWS, no matter what platform you're on. Even if you are developing in Visual St
AWS Step Functions で作る Serverless バッチシステム - Qiita
re:Invent 2016 で Step Functions というサービスがローンチされました！ 幾つかのステップに分かれる処理を Lambda で構築するときに、処理のステート管理や処理間のコーディネートを行ってくれるサービスです。 これまでは、このような処理を組もうとすると「本来行いたい処理に関するコード」以外に「状態を管理するコード」を書く必要がありましたが、 Step Functions を用いることで、疎結合なメンテのしやすい Serverless バッチシステムを構築できるようになります。 個人的には今年の re:Invent で一番熱いリリースです！早速触ってみました！ （※2017/12 により具体的なサービスに使った記事を書いてみましたので、よろしければこちらもご覧ください。） AWS Lambda と Step Functions で作るサーバレスなアービトラージ検
Lambda+RDSはアンチパターン - Qiita
何が起きたのか 作成していたアプリではサーバレス構成にてLambdaからRDS(MySQL)を呼び出していました。 リクエストが増えるとRDSのコネクション数が増加して すぐにDBコネクションエラーになってしまいました。 最大コネクションの上限値 結論から言うとLambdaとRDS(MySQL)は相性が良くないです。 理由はLambdaからRDSのDBコネクションを貼ると リクエスト単位でコネクションを張ってしまうため 仕組み上、同時接続に耐えられません （RDSのコネクション上限数が少ない） さらにVPC設定すると・・・ セキュリティのため、RDSをLambdaからのみアクセスさせるためには LambdaとRDSを両方とも VPC領域に置く必要があるのですが、Lambdaの起動が遅くなる場合があります。 これは、一定時間Lambdaがコールしない場合にスリープ状態になり、 起動する際にE
AWSのフルマネージドサービスのみ使ってIoT向けビッグデータ基盤を構築する | DevelopersIO
はじめに KinesisやRedshiftを使ったビッグデータ基盤の運用負荷を減らせないかと考えていたところ、Lambdaが正式公開されましたのでAWSのフルマネージドサービスだけで構築できないかやってみました。今回、構築したのはスマホアプリやIntel Edisonなどの端末からセンサー情報をKinesisに送信後、S3を経由してRedshiftにデータをロードするところまでになります。処理としては以下の図のような流れになります。Kinesisにデータを送信する箇所とデータ分析の部分は含まれていません。今回まだLambdaが東京リージョンでは使えないので、N.Virginiaリージョンで試しました。 Kinesisから取得したデータをCSVにしてS3へアップロードする デバイスからKinesisに送信されたデータを取得してCSVファイルを作成、S3にアップロードしています。 準備する K
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
