PHPerKaigi 2024〜10年以上動いているレガシーなバッチシステムを Kubernetes（Amazon EKS） に移行する取り組み〜

AWS News Blog Announcing AWS Lambda Function URLs: Built-in HTTPS Endpoints for Single-Function Microservices Organizations are adopting microservices architectures to build resilient and scalable applications using AWS Lambda. These applications are composed of multiple serverless functions that implement the business logic. Each function is mapped to API endpoints, methods, and resources using s

AWS Lambda now supports IPv6 endpoints for inbound connections, allowing customers to invoke Lambda functions over IPv6. This helps customers to meet IPv6 compliance requirements, and removes the need for expensive networking equipment to handle address translation between IPv4 and IPv6. To use this new capability, configure your applications to use AWS Lambda’s new dual-stack endpoints which supp

AWS Lambdaの環境がどのようになっているか、ユーザが用意したLambdaファンクションがどんな感じで実行されるかってあたりを可能な限り詳しく説明したいと思います。 はじめに 大前提 コールドスタート/ウォームスタート コントロールプレーン/データプレーン アイソレーション AWS Lambdaのコンポーネント群 同期実行かつ初回呼び出し（コールドスタート）、もしくはスケーリング 同期実行かつ再利用（ウォームスタート） 非同期実行 スケールアップ エラーハンドリング リトライ その他 ネットワーク まとめ はじめに この投稿は2020年9月29日の21時から開催予定のイベント（ライブストリーミング）で話す内容です。 serverless-newworld.connpass.com もし間に合えば、かつ時間があればぜひライブ配信のほうにも参加ください。 （2020.09.30 upda

こちらの記事はRDS ProxyがGAされる前に執筆した記事です。現在はLambdaからRDSを利用する場合、間にRDS Proxyを挟むという選択肢が増えているので、まずはRDS Proxyを使う/使わないの検討をお願いします。以後で紹介しているトピックの一部はRDS Proxy利用時は考え方が変わってきます。 CX事業本部@大阪の岩田です。私が現在関わっているプロジェクトではLambda × RDSというアーキテクチャを採用して開発を進めています。開発を進める中でLambda × RDS(RDB)という構成についてある程度ノウハウが貯まってきたので、注意したいポイントやオススメの設定をTIPS的に紹介していきます。 環境 以後の説明では以下の環境の一部もしくは組み合わせを利用しています。具体的なコードやSQLの例はプログラミング言語やDBエンジンに依存しますが、根底の考え方はどの言語、

CX事業本部の岩田です。 昨年re:inventから帰国後にyoutubeで見つけたセッション「A Serverless Journey: AWS Lambda Under the Hood」が非常に興味深い内容でした。今年も同様のセッションが無いかre:inventのセッション予約開始前からチェックしていたところ、なんと今年も同じタイトルのセッションがありました。これは現地で聞くしかない！ということで聞いてきましたので、改めてセッション内容をまとめてレポートします。 資料 セッション動画 スライド A Serverless Journey: Under the Hood of AWS Lambda 例年ならSlide Shareで公開されるのですが、今年に関しては今のところSlide Shareには上がっていないようです。なお以後登場する画像のほとんどはこちらのスライドからの引用となりま

この記事はMackerelアドベントカレンダー7日目の記事です。 こんにちは、MackerelアンバサダーのKuchitamaです。 昨日の記事は、 ore-publicさんの運用中に止めたり上げたりするプロセスをMackerelで監視するでした。 本来、「Makerelでエンジニアの退職後も定期バッチをヘルシーに保つTips(仮)」という記事を書く予定でしたが、12/23(月)の MackerelDay#2 のアンバサダーLTで話すことになったので、予定を変更してお送りしております。 元々の内容にご興味あったかたは是非会場にいらしてください。 mackerelio.connpass.com AWS Lamdaのモニタリング さて本題。 AWS Lamdaの監視については、 Mackarelでは AWSインテグレーションで実現できます。 mackerel.io ただ、実運用において重要なメ

AWS Compute Blog Introducing AWS Lambda Destinations Today we’re announcing AWS Lambda Destinations for asynchronous invocations. This is a feature that provides visibility into Lambda function invocations and routes the execution results to AWS services, simplifying event-driven applications and reducing code complexity. Asynchronous invocations When a function is invoked asynchronously, Lambda s

AWS Lambda now supports Parallelization Factor, a feature that allows you to process one shard of a Kinesis or DynamoDB data stream with more than one Lambda invocation simultaneously. This new feature allows you to build more agile stream processing applications on volatile data traffic. By default, Lambda invokes a function with one batch of data records from one shard at a time. For a single ev

AWS Lambda now supports four failure-handling features for processing Kinesis and DynamoDB streams: Bisect on Function Error, Maximum Record Age, Maximum Retry Attempts, and Destination on Failure. These new features allow you to customize responses to data processing failures and build more resilient stream processing applications. Lambda processes data records from Kinesis and DynamoDB streams i

Lambdaで動くアプリやフレームワークの事例はよく見るのですが、LambdaのCIやCDにしやすさに主眼をおいた紹介はあんまり見ないので現時点での自分のベストプラクティスのメモです tl;dr; このエントリで書いていること Lambdaをデプロイするのに肝になること デプロイしやすさに着眼したフレームワーク紹介 論外 コンソールからアップロードする できなくはないがかなり厳しい Terraform Apex 8/12 17:20追記 実用レベル Serverless Framework AWS SAM native extension問題と戦う Amazon LinuxのEC2インスタンス内でビルドする Amazon Linux互換のDockerイメージを使う Serverless Frameworkのプラグインを使う ライブラリをインストールするジョブとデプロイするジョブを分ける 【

CX事業本部の岩田です。 Lambdaのプログラミングモデルではデータベース接続等の処理はhandler外の初期化処理で実施することがベストプラクティスとされています。コストの高い処理は初期化処理内で実施することで、ウォームスタート時のパフォーマンスを向上させることができます。 一方で、handler内の処理が完了した後、次回のhandler呼び出しまでLambdaの実行環境は「フリーズ」することが知られています。 実際には、サービスは Lambda 関数の完了後実行コンテキストをフリーズさせ、再び Lambda 関数が呼び出された際に AWS Lambda がコンテキストを再利用する場合は、コンテキストを解凍して再利用します。 AWS Lambda 実行コンテキスト 初期化処理で確立したデータベースとの接続って、Lambda実行環境がフリーズしてる間はどうやって接続が維持されるんだろう？

渡辺です。 某カフェのバックエンドは全てLambda/Node.jsで実装されています。 昨日、Node.js10.xがリリースされていたので、ランタイムを変更してみました。 この時、CloudWatch Logs（以下、CWL）に出力されるログの形式が変わってたのでシェアします。 なお、これは2019年5月15日時点の挙動であり、変更される可能性あります（てか、変更して欲しい）。 サヨナラJSON.stringify Node.js10.xで console.log が機能強化され、自動的にフォーマットされるようになりました。 これまでは、オブジェクトの出力時、都度 JSON.stringifyを使うのが鉄板でしたが、サヨナラです！ Lambdaのサンプルイベントで以下のようなAPI Gatewayからのイベントを出力してみます。 { "body": "eyJ0ZXN0IjoiYm9ke

はじめに サーバーレス開発部＠大阪の岩田です。 re:Invent2018が終了して約3週間、今では各セッションの動画やスライドが多数公開されており、気軽に情報収集ができるようになりました。 私もYoutubeを活用して、現地で参加できなかったセッションの動画を少しづつ視聴していたのですが、　「SRV409 A Serverless Journey: AWS Lambda Under the Hood」の内容が非常に興味深いものでした。 サーバーレス開発部が普段ゴリゴリに触っているAWS Lambda(以後は単にLambdaと表記します)の内部構造に言及しており、2019年にVPC Lambdaが高速化されるという情報も知る事ができました。 このセッションの内容を多くの人に知ってもらいたいので、Lambdaの内部構造という観点からセッションの内容をまとめてみます。 ※直訳というよりも自分な

渡辺です。 日本列島が酷暑とのことですが、札幌は23-4℃となっております。 書く機会があったので。 適当に修正してご利用ください。 /Lambda関数名 というリソースを定義し、POSTで対応するLambda関数を呼び出すテンプレートです。 --- AWSTemplateFormatVersion: 2010-09-09 Description: "API Gateway" Parameters: FunctionName: Type: String Description: "Lambda Function Name (ex: hello-world)" Resources: Api: Type: "AWS::ApiGateway::RestApi" Properties: Name: "api" Resource: Type: "AWS::ApiGateway::Resource"