8 AWS Serverless Patterns in Kafka-land
Photo by Thalia Tran on UnsplashKafka is a top-notch industry platform for streaming data processing at scale. No surprise that first-class citizens of Kafka world are 24/7-running producer/consumer applications (e.g. classical servers, k8s-pods, etc.). But what about the rapidly rising world of AWS Serverless ecosystem? Image credit: AuthorThe diagram above is a collection of workflows: Propagate
Serverless Framework から lambroll + Terraform に移行しているお話
はじめまして、wind-up-bird です。スタディストの SRE Unit に入ってから約半年が経ちました。今回は社内で利用している Serverless Framework を lambroll に移行しているのでその話を少し書いてみようと思います。 これまでの開発の流れスタディストでは AWS Lambda および周辺リソース（AWS IAM や Amazon API Gateway など）の管理はこれまで Serverless Framework を利用していました。開発からリリースの流れは以下の通りです。 Lambda の開発serverless.yml を作成開発者がデプロイ担当者に連絡する担当者がローカルの環境から serverless deploy を手動実行Serverless Framework 導入当初は管理しているリソースが少なくこの運用でもあまり問題になりません
Serverless Next.js Component のISR実装を読み解く
AWS Amplify ConsoleでNext.jsのプロジェクトをデプロイすると Serverless Next.js Component のインテグレーションによってAWS Lambda リソースが最大4つ作成される(ソースコードはエクスポートできる) Default Lambda@Edge for Next CloudFront distribution API Lambda@Edge for Next CloudFront distribution Image Lambda@Edge for Next CloudFront distribution Next.js Regeneration Lambda それぞれのAWS Lambdaが行っていることを読み解くとVercelが自社で構成しているシステムの外観が分かるのではないかと思って眺めてみた (CloudFrontのコンソール
【レポート】コンテナだけどサーバーレス！ AWS Lambda の最新機能をご紹介 #AWSSummit | DevelopersIO
CX事業本部@大阪の岩田です。5月31日までアーカイブが視聴可能なAWS Summitですが、Developer Zoneという開発者向けの特設サイトが存在することをご存知でしょうか？公式サイトでは以下のように案内されています。 より多くの技術情報に触れたいとお考えの開発者の方向けに、エキスパートによるテクニカルトーク、ライブ解説付きのデモ、AWS Robot Delivery Challenge, AWS DeepRacer リーグなど、多彩なコンテンツを備えた特設サイト「Developer Zone」をご用意しました。 少しカジュアルな雰囲気の中、よりディープに AWS サービスを活用した開発のノウハウを知ることができます。テクニカルトーク、ライブ解説付きのデモでは、参加するお客様からのご質問にもその場でお答えしますので、ぜひご参加ください。 この記事はDeveloper Zoneのセ
サーバーレスアプリケーション向けのAWS CDK、Serverless Stackを触ってみました | DevelopersIO
先日Serverless StackというAWSでサーバーレスアプリケーションを簡単に構築できるフレームワークの存在を同僚に教えて貰いました。どうやらAWS CDKをラップして実装しているらしく興味をもったのでさっそく触ってみました。 はじめに おはようございます、加藤です。先日Serverless StackというAWSでサーバーレスアプリケーションを簡単に構築できるフレームワークの存在を同僚に教えて貰いました。どうやらAWS CDKをラップして実装しているらしく興味をもったのでさっそく触ってみました。 概要 公式サイト: https://serverless-stack.com/ Serverless StackはAWSで簡単にサーバーレスアプリを構築するためのフレームワークです。 GitHubのスター数の変化を見てみると2021年1月から注目を浴びたようです。 AWS CDKをベース
LambdaのProvisioned Concurrencyと１年付き合ってみて思ったこと。 - Qiita
１年付き合って見て思ったこと。 Lambdaは毎年たくさん機能アップデートがあるけど、やっぱりLambdaの醍醐味はそのシンプルさだと思います。シンプルに使えるように、Lambdaだけでシステムやロジック設計をするのではなくて、AWSのビルディングブロックの組み合わせで適材適所で活かしあった方が良いなと思う１年でした。 Provisioned Concurrencyによって、より多くのワークロードでLambdaが利用された１年になりましたが、それ以上にProvisioned Concurrencyを利用しなくても、そのまま素で自動的にスケールしてくれるLambdaの良さを再確認した１年でもありました。 この記事について 執筆時はre:Invent 2020の前日です。 ですので、re:Invent2020の内容は一切含みません。 そしてProvisioned Concurrencyは201
AWS Lambdaがコンテナをサポートしたのでちょっと試してみた - Sweet Escape
現在開催中のre:InventでAWS Lambdaがコンテナのサポートをするという発表がありましたね。 aws.amazon.com というわけでちょっと試してみました。 素材はここにあげてあります。 github.com 流れとしては、 普通にファンクション書く Dockerfile作る イメージをビルドする イメージをECRにプッシュする Lambdaファンクションを作るときにECR上のイメージを指定する という感じです。3,4のコマンド実行例はReadmeに記載しています。 イメージに関してはRuntime APIを実装する必要があるんですが、現在Lambdaがサポートしている各言語向けには既に用意されていてリリースされています。例えばNode.jsであればnpm install aws-lambda-ricでインストールできます。 加えて、これを組み込み済のベースイメージが既に用
Moving my serverless project to Ruby on Rails
I have a small side project: digital gift cards for hackers. It uses Shopify for all the store-related stuff: frontend, payments, refunds, reports, etc. But unlike regular digital products (ebooks, videos) I wanted each card that the user purchases from the store to be unique. So I made a script that generates personalized images and ran it manually for every order. The next logical step was autom
「AWS Lambda Extensions」発表。AWS Lambdaにモニタリング用エージェントなどが組み込めるように
「AWS Lambda Extensions」発表。AWS Lambdaにモニタリング用エージェントなどが組み込めるように Amazon Web Services（AWS）は、サーバレスコンピューティング基盤を提供する「AWS Lambda」の新機能「AWS Lambda Extensions」を発表しました。 New #AWSLaunches! Amazon Inspector has expanded operating system support for Red Hat Enterprise Linux (RHEL) 8, Ubuntu 20.04 LTS, Debian 10 & Windows Server 2019 AWS Lambda Extensions: a new way to integrate Lambda with operational tools (in p
AWS CDK+Serverlessのアーキテクチャパターンの実装が勢揃い！CDK Patternsの紹介 | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 今回はAWS CDKでServerlessアーキテクチャを構築する上で参考となる実装が紹介されているCDK Patternsという取り組みが気になったので紹介します。 実装はGitHub上で公開されているので、いつでもすぐにcloneして動かすことができます。 この記事を読むことでAWS CDK+Serverlessで何か開発する際の設計パターンが分かり、独自に検討するより早く実装できるようになります。 正直自分でもこのパターンいいじゃん！使いたい！となったので、CDKで何か作ってる方には絶対参考になると思います。 CDK Patternsとは 以下はCDK PatternsのGitHubリポジトリからの引用です。 CDK Patterns houses an opensource collection of AWS Serverless archi
AWS Lambda関数の状態の追跡 | Amazon Web Services
Amazon Web Services ブログ AWS Lambda関数の状態の追跡 本投稿は、AWS Lambda の Senior Developer Advocate, Chris Munns の寄稿によるものです。 AWS Lambda関数は、AWS Identity and Access Management（IAM）ロールやAmazon Virtual Private Cloud（Amazon VPC）、ネットワークインターフェイスなど、正常に実行するために他のAWSサービスのリソースを必要とすることがよくあります。関数を作成または更新すると、Lambdaはユーザーに代わって、関数の実行を可能にするのに必要なリソースをプロビジョニングします。ほとんどの場合、このプロセスは非常に高速で、関数を呼び出したり変更する準備はすぐにできます。ただし、この種のアクションで時間がかかってしま
AWS Lambdaが提供するProvisioned Concurrencyという機能を簡単に説明してみる - Sweet Escape
はじめに 大前提 トラフィックバースト Provisioned Concurrency 何が解決するのか 設定のコツ まとめ はじめに 実は本日開催のイベントでProvisioned Concurrencyという機能について話す予定です。 serverless-newworld.connpass.com このイベントは省エネで特定のトピックについて簡単に話すというのをモットーとしていまして、普段の各種イベントでの講演のようにプレゼンテーション用のスライドを作ったりはしないつもりだったんです。と、言いつつも前回は過去に書いたブログ記事を使って話をしたんです。でも今回はそれすらない。 最初はそれでもいいかと思っていたんですが、口頭だけだとなかなか難しそうだなと思えてきたので4時間後のイベントのためにブログをしたためています。 大前提 AWS Lambdaにはコールドスタートというものがあるのは
[アップデート] Lambda から共有ファイルストレージの EFS が利用可能になりました！ | DevelopersIO
本日のアップデートで Lambda から EFS が利用可能になりました！ AWS Lambda support for Amazon Elastic File System now generally available 何が嬉しいのか S3 を介さないファイル連携 Lambda でファイル連携を行うには一般的に S3 を介して利用されてきましたが、そもそも連携するためには連携させたいシステムが S3 にアクセスできるような仕組みになっている必要がありますが、オンプレからそのまま AWS に移行してきたようなシステムの場合、S3 へアクセスするための改修にハードルを感じる方も少なからず居られたかと思います。 今回、EFS に対応したことで単純にファイルシステムとしてファイル連携することが可能となりますので、そういった改修をせずとも Lambda と連携させた処理が実装しやすくなるのではな
![[アップデート] Lambda から共有ファイルストレージの EFS が利用可能になりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25fe5c76b0259f67cfbb0286bc1fd48c715f810f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-lambda.png)
New – A Shared File System for Your Lambda Functions | Amazon Web Services
AWS News Blog New – A Shared File System for Your Lambda Functions July 1, 2020: Post updated to take care that Amazon EFS increased file system minimum throughput, when burst credits are exhausted, to 1 MiB/s. I am very happy to announce that AWS Lambda functions can now mount an Amazon Elastic File System (Amazon EFS), a scalable and elastic NFS file system storing data within and across multipl
LambdaからRDS/RDBを利用する際に意識したいポイント5選 | DevelopersIO
こちらの記事はRDS ProxyがGAされる前に執筆した記事です。現在はLambdaからRDSを利用する場合、間にRDS Proxyを挟むという選択肢が増えているので、まずはRDS Proxyを使う/使わないの検討をお願いします。以後で紹介しているトピックの一部はRDS Proxy利用時は考え方が変わってきます。 CX事業本部@大阪の岩田です。私が現在関わっているプロジェクトではLambda × RDSというアーキテクチャを採用して開発を進めています。開発を進める中でLambda × RDS(RDB)という構成についてある程度ノウハウが貯まってきたので、注意したいポイントやオススメの設定をTIPS的に紹介していきます。 環境 以後の説明では以下の環境の一部もしくは組み合わせを利用しています。具体的なコードやSQLの例はプログラミング言語やDBエンジンに依存しますが、根底の考え方はどの言語、
AWS Step FunctionsとAWS Lambdaを使って複数のETLジョブの統合を行う | Amazon Web Services
Amazon Web Services ブログ AWS Step FunctionsとAWS Lambdaを使って複数のETLジョブの統合を行う 抽出、変換、ロード(Extract, Transform, Load, ETL)操作は、現在のエンタープライズデータレイクのバックボーンにひとまとまりとして形成されています。rawデータを役に立つデータセットへ変換し、最終的には、洞察可能な状態に変換します。ETLジョブは通常１つまたは１つ以上のデータソースからデートを読み、様々な種類の変換を適用し、結果を利用準備できているターゲットに書き込みます。ETLジョブのソースとターゲットはリレーショナルデータベースであるAmazon RDS(Amazon Relational Database) もしくはオンプレミス、データウェアハウスとしてAmazon Redshift 、オブジェクトストレージとして
AWS IoT にみる サーバーレスアーキテクチャ Messaging パターン実装例 – Lambda 同時実行数を制御する | DevelopersIO
AWS IoT から直接 Lambda Function を起動した場合、ConcurrentExcecutions が100に近くなり、Kinesis Streams を挟んだ場合は ディスパッチャー自身 + Batch Size 5 を加味すると ConcurrentExcecutions 6 くらいになると期待します。なお、ドキュメントによると、「ある期間で集計された場合、平均メトリクスで表示する必要があります」とのことだったので、Period:1second、Statistic:Average のデータを使うことにしました。 AWS Lambda のメトリクスおよびディメンション - Amazon CloudWatch イベントは、手元のマシンのターミナルからループ処理で101個発行します。 for i in `seq 0 100` do curl --tlsv1.2 --cace
Node.js 8.10 runtime now available in AWS Lambda | Amazon Web Services
AWS Compute Blog Node.js 8.10 runtime now available in AWS Lambda This post courtesy of Ed Lima, AWS Solutions Architect We are excited to announce that you can now develop your AWS Lambda functions using the Node.js 8.10 runtime, which is the current Long Term Support (LTS) version of Node.js. Start using this new version today by specifying a runtime parameter value of nodejs8.10 when creating o
AWS Lambda Go without Go - so what
とある勉強会用にLTネタを作っていたのですが、発表できなくなったので腐る前にブログに書いておきます。 お前は何を（ｒｙ 記事のタイトルについて お前は何を言っているんだ なのですが、元ネタは以下のツイートです。 ここからTCPでやり取りするプロトコルが読み取れるし、mainって名前で同じプロトコル喋るバイナリならstaticにビルドすれば別の言語でもネイティブに動かせるんじゃね？https://t.co/dWjs8YiuFe— Masashi Terui (@marcy_terui) 2018年1月17日 LTのネタになりそうだったのでやってみたわけです。 aws-lambda-goについて じゃあ、まあaws-lambda-goは一体どういう仕組みで動いているんだろうと、ソースを読んでみました。 で、entry.goとfunction.goあたりでだいたい分かりましたが、net/rpcパ
Serverless FrameworkとExpressでお手軽にAPIサーバを作ろう - 迷ったらカレー
この記事は、Recruit Engineers Advent Calendar 20176日目の記事です。 こんにちは。最近マルチロールな働き方をしていて自分が何者なのかわからなくなってきた加藤です。現在リクルートジョブズというところでエンジニアをしています。 日頃、社内用のちょっとしたツールとか、試験的なAPIとかを作るのにAWS LambdaやDynamoDBを使ってサーバレスな開発をしているのですが、この記事ではその際によくやるServerless FrameworkとExpressを活用した開発手法の紹介をしたいと思います。 Expressといえば、Node.jsのWebアプリケーションフレームワークとして有名ですが、最近ではaws-serverless-expressというのを使うと、AWS LambdaでもExpressを使って開発ができます。サラッと書きましたが、正直こいつが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
