Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する | フューチャー技術ブログ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で
lambroll と bash layer で気軽に Lambda shell script を実行する - 酒日記 はてな支店
先日えいやと書いた AWS Lambda のデプロイツール lambroll ですが、これと公開済みの bash layer を使うとかなり気軽に(雑な) shell script を Lambda で実行できて体験がよかったので書いておきます。 AWS Lambda のミニマルなデプロイツール lambroll を書いた - 酒日記 はてな支店 ちょっとしたものをLambdaで書くの億劫さのほうが強かったけど、bash layerとlambrollを使ったら雑shell scriptをホストで書いてるのに近い感じになり、顧客が本当にほしかったもの感があるなこれ— fujiwara (@fujiwara) 2019年11月13日 今回はとある理由で ECS のサービス内のタスクを定期的に入れ換えたかったので、aws ecs update-service を一発実行する、という要件。やりたい
AWS Lambdaで運用した実績から得られた、serverless frameworkのオススメ設定とプラグインの知見 - GA technologies Tech Blog
はじめまして。株式会社GA technologies のService Development Division (開発部門) エンジニアの永冶といいます。 今後、この技術ブログを通して様々なことをアウトプットし、記事を閲覧する方の力に少しでもなれたらと思います。よろしくお願いします。 この記事を書いた経緯 弊社ではAWS Lambdaを 画像の圧縮 Slackへの通知 外部サービスとの連携 などで幅広く使用しています。数多くのLambda関数を管理する上で、設定の可視化とデプロイの自動化は避けては通れません。設定の可視化とデプロイの自動化を達成するために、弊社のいくつかのプロジェクトではserverless frameworkを使用しています。 社内で運用を続けていく上で、serverless frameworkを使用する時のオススメの設定やプラグインが洗練されてきました。 この記事を読
AWS Step FunctionsとLambdaでCloudWatch LogsのログをS3に定期的にエクスポートする - Qiita
CloudWatch LogsのログをS3にエクスポートする方法としてはKinesis Firehoseなどがありますが、頻繁にエクスポートしなくても良い場合もあります。 その場合の選択肢の1つとしてStep Functionsもあるのかなと思って実装してみました。 大まかなながれ CloudWatch Eventsで定期的にStep Functionsを実行 Step Functionsで複数のログに対してLambdaを実行 CloudWatch LogsのS3エクスポートタスクを実行 ロググループ名やバケット名をStep Functionsから渡すことによってLambdaを汎化できる CloudWatch LogsのS3エクスポートタスクをポーリングする 複数同時にS3へのエクスポートタスクを実行できないため おさらい 視覚的なワークフローを使用して、分散アプリケーションとマイクロサー
インフラエンジニアがSlack スラッシュコマンド + API Gateway + Lambdaでサーバーレスボットを作った話 — みんなのウェディングエンジニアリングブログ
みんなのウェディングのインフラエンジニア横山です。 今回はAWSのサービスを利用したサーバーレスなデプロイボットの作り方についてお伝えします。 作成の動機 弊社には、rubotyで作られた、minaというデプロイ用のボットが存在しており、こちらのボットにSlack上で話しかけることで本番環境へのデプロイを行っていました。 今回は、このminaの置き換えとしてサーバーレスなデプロイボットが作れないか取り組みました。 作成の動機は以下の2点です。 ボットのメンテナンスコストの削減 ボットが稼働するサーバコストの削減 概要 全体の流れは以下の図の通りです。 まとめると、 Slackのスラッシュコマンドを実行 API Gatewayにリクエストが届く API Gatewayに紐づけられたLambdaでデプロイ処理が実行される デプロイされる ※AWS側のリソースはSAMで管理。 といった感じです。
運用的関心事を実験的にAWS Lambda on VPCにお任せしてみたので所感
リリースした時はきれいだったコードも、運用に曝されることで汚くなっていったりしますよね。 ChatOpsな今のプロジェクトでは、「とあるイベントが発生した際に、運用担当者が迅速に反応できるようSlackに通知してほしい」という要望が出てきたりしています。以前であれば、メール通知してたところでしょうかね。 運用的関心事は移ろいやすい かつてJavaでAOPが流行りだした頃に、ロギングだったり権限チェックだったりの処理をメソッドにweavingしたInterceptorに追いやるという、所謂「横断的関心事」をビジネスロジックの本質から除外するという手法がありましたね。 自分が運用的関心事と言っているのは何のことかというと、 アプリケーション本体の正常な動作にとっては無関係だけど、運用的には知っておきたい事柄 のことを指します。 弊社も最近は組織的にSlackが導入になったということもあって、ユ
AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する | Amazon Web Services
Amazon Web Services ブログ AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する AWS CloudTrail ログを簡単に視覚化できることは、AWS インフラストラクチャがどのように使用されているかについてより良い理解を提供してくれます。また、AWS API コールの監査とレビューを行って、AWS アカウント内のセキュリティ異常を検知するためにも役立ちます。これを行うには、CloudTrail ログに基づいた分析を実行できる必要があります。 この記事では、Amazon S3 内の AWS CloudTrail ログを JSON 形式からクエリ用に最適化された形式のデータセットに変換するための AWS Glue と AWS Lambda の使用について詳しく説明します。その後、Amazon Athena
Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 多くの業務や運用において、頻繁に更新される大規模なデータを分析することが求められるようになっています。例えばログ分析においては、振る舞いのパターンを認識したり、アプリケーションのフロー分析をしたり、障害調査をしたりするために大量のログの可視化が必要とされます。 VPCフローログはAmazon VPCサービス内のVPCに属するネットワークインターフェースを行き来するIPトラフィック情報をキャプチャします。このログはVPC内部に潜む脅威やリスクを認識したり、ネットワークのトラフィック・パターンを調査するのに役立ちます。フローログはAmazon CloudWatchログに格納されます。いったんフローログを
クロスアカウントなLambdaをSNS TopicにSubscribeする | DevelopersIO
西澤です。今回は、SNS Topicに異なるAWSアカウントのLambdaをSubscribeする手順をまとめておきます。下記の公式ドキュメントに丁寧な手順が書かれてはあるのですが、確認の手順等、注意事項がいくつかあったので、それを補う形で書いてみたいと思います。 ステップ 3: クロスアカウント権限のセットアップ - AWS Lambda 概要 今回整理するのは、AWSアカウントA(111111111111)のSNS Topicから、AWSアカウントB(222222222222)のLambda Functionを呼び出すことができるようにする為に必要となる権限設定の手順です。 SNS TopicやLambda Functionそのものの作成手順には触れません。それぞれ既に作成済であることを前提とします。公式ドキュメントには一部AWS Management Consoleからは行えない操作
Apex の --env オプションを使って Lambda を複数環境にデプロイする - kakakakakku blog
最近仕事で必要になり，CircleCI + Apex を使って，Lambda を複数環境 (prd / stg / dev など) にデプロイできる仕組みを作ったので，実現したかったこと，工夫したことなどを紹介したいと思う．ちなみに，以前も似たような事例で CloudWatch Events + Lambda + CircleCI + Apex を使ったアーキテクチャを紹介したが，これはあくまで開発ツールの位置付けなので，複数環境の考慮が必要なく，単純に apex deploy を実行するだけの非常にシンプルな構成になっていた点が異なる． kakakakakku.hatenablog.com kakakakakku.hatenablog.com エイリアスは採用しなかった 「実践 AWS Lambda」にも書いてある通り，Lambda にはエイリアスという機能があり，特定のバージョンに p
Lambda クォータ - AWS Lambda
新規の AWS アカウント では、同時実行性とメモリクォータが低くなっています。これらのクォータは、使用状況に応じて AWS が自動的に引き上げます。 コンピューティングとストレージ Lambda では、関数の実行と保存に使用できるコンピューティングおよびストレージリソースの量に対してクォータを設定します。同時実行とストレージのクォータは、AWS リージョン ごとに適用されます。Elastic Network Interface (ENI) クォータは、リージョンにかかわらず、仮想プライベートクラウド (VPC) ごとに適用されます。次のクォータは、デフォルト値から引き上げることができます。詳細については、「Service Quotas ユーザーガイド」の「クォータ引き上げのリクエスト」を参照してください。
Lambdaの容量を監視しよう - @ijin
2016/1/14現在、AWS Lambdaにはなんとリージョン毎！にアップロードできるパッケージの合計サイズがたったの1.5GBという悲しい制限があります。特にlibraryを同包したり、versioningを使ったりしてCIをガンガン回してると、結構すぐこの上限に達してしまいがちです。そこで、Lambdaの総容量はAWSコンソール上には表示されるものの、トラッキングし辛いので監視する仕組みを作ってみました。 仕組み LambdaのScheduled Eventsを使って、ListFunctionsとListVersionsByFunction APIを叩いて、個別functionのCodeSizeをサマって、PutMetricDataでCloudWatchに投げて、Alarm設定してるだけ。 (*) 2016/1/26 追記：@marcy_teruiさんからのご指摘でVersionsの
Robust Serverless Application Design with AWS Lambda Dead Letter Queues | Amazon Web Services
AWS Compute Blog Robust Serverless Application Design with AWS Lambda Dead Letter Queues Gene Ting, Solutions Architect AWS Lambda is a serverless, event-driven compute service that allows developers to bring their functions to the cloud easily. A key challenge that Lambda developers often face is to create solutions that handle exceptions and failures gracefully. Some examples include: Notifying
Python Serverless Microframework for AWS (Chalice) を使うと、サーバーレスアーキテクチャの IAM ポリシーの管理が劇的に簡単になる！ | DevelopersIO
Python Serverless Microframework for AWS (Chalice) を使うと、サーバーレスアーキテクチャの IAM ポリシーの管理が劇的に簡単になる！ Python Serverless Microframework for AWS (Chalice) 先日、アマゾンデータサービスジャパン株式会社様との共催の勉強会「実践SERVERLESS」を開催いたしました。お陰様で多くのかたに好評いただけました。お越し下さった皆さま、誠にありがとうございました！ 「実践SERVERLESS」勉強会を開催しました！ #cmdevio この勉強会では「AWS Lambda と Amazon API Gateway の管理」というテーマでお話させていただきました。その中で、サーバーレスアーキテクチャを管理するツールの一つとして「Python Serverless Micro
プログラム初心者がAWS Lambda(Python)でハマった7個のこと - サーバーワークスエンジニアブログ
私の所属している、"クラウドインテグレーション部技術1課"では、毎日5分程度の朝会というのをやっているのですが、ファシリテータをみんな忘れるので、適当に選出するbotを作成しました。 SlackのIncoming Webhookを用いて、メンバーをシャッフルしメンションする簡単なbotです。 朝の10時にしか動かないため、サーバーを起動させ続けているのは非常にもったいないので、Pythonでコードを書いて、AWS LambdaでCronで動かすことにしたのがきっかけです 会社では"作らないSI"と言っていますが、普段はインフラエンジニアとして、基本的にコードを書いていません。 ほとんど、サンデープログラマーです。 AWS Lambdaの初歩的なところでハマったんだ さて、こんな私が恥ずかしながら、Lambdaを使おうと思ってハマった事柄の、ごく簡単な忘備録を載せておきます。 1. ファイル
AWS Lambda のバージョン管理の仕組み | DevelopersIO
はじめに この記事では、AWS Lambdaにおけるバージョン管理についての概要についてまとめています。 バージョン管理というと、SubversionやGitなどのバージョン管理システムが思いつきますが、AWS Lambdaもそのサービスの中で、シンプルなバージョン管理機能を提供しています。 AWS Lambdaにおけるバージョン管理は、主にソースコードの過去バージョンの保管と、開発フローにおける各段階(開発、βテスト、本番稼動)に合わせた過去コードの利用のために用いられます。 バージョニングは基本的には直線の形で更新されていき、過去のバージョンについてはエイリアスという機能を使って別名を与えることができます。 このエイリアスを用いて、開発フローに合わせて一つのスクリプトのバージョンを切り替えていくというのが、この機能の主な利用法です。 GitやSubversionのような、チーム開発での
AWS 再入門 AWS Lambda 編 | DevelopersIO
毎度お馴染み流浪の動かしてみた & C 芸人の Fujimura です。 当エントリは Developers.IO で弊社 AWS チームによる『AWS サービス別 再入門アドベントカレンダー 2015』の 18 日目のエントリです。昨日 17 日目のエントリは藤本の『ElasticSearch Service』でした。 このアドベントカレンダーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日 18 日目のテーマは『AWS Lambda』です。 AWS Lambda とは? 公式ドキュメントより引用すると「コードを AWS クラウドで実行し、詳細な価格料金設定を提供する、バックエンドウェブ開発者向けの管理不要なコンピュー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Application Search - AWS Serverless Application Repository
Deploying EFF's Certbot in AWS Lambda
Ridge - A framework like GAE/Go on AWS
