はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報（今回の話に関係ある部分のみ）は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
AWS Lambda Powertools Pythonをまとめてみた。AWS Lambda Powertools Python 〜概要編〜 - Qiita
AWS Lambda Powertools Pythonとは AWS Lambda Powertools Python は、AWS Lambda関数用のユーティリティースイートで、トレース、構造化ロギング、カスタムメトリックスなどのベストプラクティスの導入を容易にします。 AWS Lambda Powertools (python) は、AWS Lambda関数の実行環境とサポートされているランタイム専用に最適化されています。Core Utilitiesの使い方については、こちらのBlogにも書かれています。 インストール方法 Powertoolsは以下の方法で利用可能です。 Lambda Layer: arn:aws:lambda:{region}:017000801446:layer:AWSLambdaPowertoolsPython:4 PyPi: pip install aws-l
⚡今すぐ見直してほしい、2021年版Lambdaチェックリスト！開発者のためのポイント30選 - KAKEHASHI Tech Blog
AWS Lambdaを使えば開発者がビジネス価値に集中できる一方、それでも今までの開発と異なるポイントに気をつける必要があります。この記事では注意したい計30個のチェックポイントを紹介します。 まずは比較的簡単で効果が出やすい部分から見ていきましょう。 🚀時間がないあなたに！すぐできるポイント10選 レビューしていてよく出てくる、比較的修正しやすい事項です。 (1) メモリサイズを設定する LambdaはメモリサイズによってCPU含めたリソースパワーが決まり、1792MBで1CPUちょうどとされています。利用言語やマルチスレッド処理の状況に合わせ増減させましょう。 デフォルトはCloudFormationやCDKなら128MB、Serverlesssで512MBと少なめです。ユーザーが使うAPIなら必ず設定しましょう。 (2) arm64(Graviton2)を前提とする Lambdaで
LangChain と OpenAI API を使って Slack 用のチャットボットをサーバーレスで作ってみる - Qiita
LangChain と OpenAI API を使って Slack 用のチャットボットをサーバーレスで作ってみる TL;DR LangChainを使って Slack 用のチャットボットを作ってみました。AI/ML モデルは OpenAI API(text-davinci-003)を利用しています。LangChain の Memory 機能を利用しており、会話の履歴も考慮して返信することができます。この際、OpenAI 側のモデルの入力トークン制限が問題になりますが、ConversationSummaryBufferMemoryを利用することで、一定のトークン数を超える履歴は要約して保持するようになっています。 また、バックエンドの実装では AWS Lambda を利用しています。Lambda はサーバレスであるため会話の履歴をメモリ上に保持することができませんが、DynamoDB に La
先日ちょっとしたAPIをLambdaとAPI Gatewayを使って作ったので、これを機会に最近の弊社のLambda構築状況について書きたいと思います。 TL;DR あるいは まとめ LambdaはECRによるイメージで起動。こうすることで、開発はイメージを作るところまで、インフラはイメージから後、というように分業できる aws-lambda-powertoolsはいいぞ API GatewayはOpenAPIをterraformに読み込ませることで簡単に設定できる Lambdaのruntime Lambdaは2020年12月からコンテナイメージをサポートしました。これは、ECRに置かれたコンテナイメージをLambdaが読み込んで起動する、というものです。 弊社ではLambdaは基本的にこのコンテナイメージからの起動で構築しています。 コンテナイメージを使う利点は以下の2つです。 コンテナ
AWS LambdaからRDS Proxy経由でAmazon RDSに接続してみる - サーバーワークスエンジニアブログ
DS課の古川です。 RDS Proxyの登場により、AWS LambdaとAmazon RDS間接続のボトルネックを回避できるようになりました。 今回は、RDS Proxyを経由してAWS LambdaからAmazon RDSに接続する手順を試してます。 はじめに 最大同時接続数 LambdaとRDBの接続 RDS Proxy リソース Security Group Lambda用 RDS Proxy用 RDS用 手順 1. データベースを作成 2. 接続テスト 踏み台サーバー or Cloud9を用意 RDSに接続 テスト用のテーブルを作成 3. Secrets Managerの設定 4. RDS Proxyの起動 5. Lambda関数の作成 serverless.yml lambda_rds_proxy.py 6. Lambdaを実行 気をつけるポイント 参考 はじめに 最大同時接続
Introducing AWS MCP Servers for code assistants (Part 1) | Amazon Web Services
Artificial Intelligence Introducing AWS MCP Servers for code assistants (Part 1) We’re excited to announce the open source release of AWS MCP Servers for code assistants — a suite of specialized Model Context Protocol (MCP) servers that bring Amazon Web Services (AWS) best practices directly to your development workflow. Our specialized AWS MCP servers combine deep AWS knowledge with agentic AI ca
TL:DR AWSでサーバレス開発を初めて早1年強、毎回関数コードにLoggerやX-Rayのコードを埋め込むのに疲れ始めていました。 そんな折に発見したLambda Powertools（Python）が非常にお手軽かつ便利そうだったので使ってみました。 AWS Lambda Powertoolsって何？ GitHubのProjectより引用 A suite of Python utilities for AWS Lambda functions to ease adopting best practices such as tracing, structured logging, custom metrics, and more. (AWS Lambda Powertools Java and Typescript is also available). 上記からも分かるように、Lam
Running code after returning a response from an AWS Lambda function | Amazon Web Services
AWS Compute Blog Running code after returning a response from an AWS Lambda function This post is written by Uri Segev, Principal Serverless Specialist SA. When you invoke an AWS Lambda function synchronously, you expect the function to return a response. For example, this is the case when a client invokes a Lambda function through Amazon API Gateway or from AWS Step Functions. As the client is wa
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
最近やってるLambdaとAPI Gatewayの開発方法の話
AWS Lambda Powertoolsで実現する快適Lambda生活 - Qiita