Lambdaで処理できないバッチ処理をAWS Batchで便利に実行しよう - Qiita
ジョブ定義 ジョブ定義はECSのタスク定義に相当するものです。まずジョブで利用するコンテナを定義します。ここでコンテナイメージ、割り当てる計算リソース(CPU、メモリ)、コンテナ環境変数、ジョブ実行用のIAMロールなどを指定します。 ここではFargate環境でAmazon Linuxイメージを利用してecho Hello, World!コマンドを実行するだけのコンテナを定義する例を示します。 import { EcsFargateContainerDefinition, FargateComputeEnvironment } from 'aws-cdk-lib/aws-batch'; import { ContainerImage } from 'aws-cdk-lib/aws-ecs'; import { Role, ServicePrincipal } from 'aws-cdk-l
Lambda Layerを使ってPlaywrightを動かす環境をTerraformで構築する
結論 GitHub - sniper-fly/playwright-on-lambda-with-tf: You can ru... 上記のリポジトリをクローンして、makeコマンドを叩けばサンプルの関数が構築できます。 あとはAWSコンソールやCLIで適宜テストが可能です。 以下の要件を満たしていれば基本的に問題なく構築できるはずです。 makeコマンドの実行が出来る TerraformでAWSリソースの作成が出来る npmコマンドが実行可能 経緯 Lambda上でPlaywrightを動かしてみたかったのですが、殆どがDockerイメージを使うものでした。動作させるだけであればこちらでも可ですが、 ECRでのイメージの管理が個人的にTerraformではやりづらい ECRで大量のプライベートイメージを作ると課金額がバカにならない ということでどうにかLambdaレイヤーだけで動作させら
フォローしているQiitaユーザが作成した記事を1日1回、スラックに通知してみた ～AWS100本ノック～ 13/100 - Qiita
はじめに Qiitaにはユーザのフォロー機能がありますが、フォローしている人が投稿した記事を確認するには、フォロー中のユーザタブで記事を一覧表示して、当日の記事を確認するしか現状なさそうです まぁ、それでもいいっちゃいいんですが、せっかくなら日常で使っているコミュニケーションツールに通知してくれた方が良いなーと思い、自動で通知する機能を作ってみました！ 試してみる では、さっそく試してみます。 Qiita APIを利用して情報を取得し、Slackに通知します。 ※公式のQiita APIリファレンスはこちら 全体像としては以下になります。 Slackの設定 まず、WebhookURL発行のためにSlack Appを作成します。 https://api.slack.com/apps にアクセスし、Create New Appをクリックします。 From scratchをクリックします。 アプ
SQSで1分未満の定期実行を実現する
今回はLocalStackを使用して検証を行います。Publisher及びSubscriberのLambda関数をそれぞれ作成し、ローカルでBupulisherを呼び出し、一定間隔の秒数でSubscriberが実行されることを確認します。 package main import ( "context" "encoding/json" "fmt" "log" "time" "github.com/aws/aws-lambda-go/lambda" "github.com/aws/aws-sdk-go-v2/aws" "github.com/aws/aws-sdk-go-v2/config" "github.com/aws/aws-sdk-go-v2/credentials" "github.com/aws/aws-sdk-go-v2/service/sqs" "github.com/aws/
LambdaでS3に画像をアップロードしたらリサイズする処理（Python）
AWS 便利ですよねー。 私はほとんど経験がないのですが必要に駆られて最近触ってます。その中でも苦戦したのが表題の Lambda による画像のリサイズ処理です。 コードは Python で書かれていますが専門ではないのでこの記事はメモの意味も含めて作成しています。そのため、詳しい解説などはありません。予めご了承ください。 S3 フォルダ構成 今回の開発環境では S3 のフォルダ構成は下記のようになっています。 単純に bucket/contents 配下に画像などを格納しているだけです。 仕様 Lambda でリサイズ処理を実行する上での仕様は下記のようにしました。 contets/ 配下に画像がアップロードされたら M サイズと S サイズの画像をリサイズして複製し、ファイル名の末尾にそれぞれ "-m", "-s"を追加する（アスペクト比は維持）。そして、リサイズした画像はオリジナル画像
CloudFront + Lambda Function URLs + Hono + htmx でPOST/PUTリクエストに対応させる
現状、Lambda Function URL を安全に使う方法は Cloudfront の AOC と組み合わせるのが良さそうです。 ただし、GET リクエストだけであれば問題ないのですが、ヘッダーにペイロードのハッシュ値のないPOST/PUTリクエストが許可されていない問題があります。 Note If you use PUT or POST methods with your Lambda function URL, your users must include the payload hash value in the x-amz-content-sha256 header when sending the request to CloudFront. Lambda doesn't support unsigned payloads. Lambda Function URL で PO
【AWS】AWS Lambda Function URLsを検証！ - Qiita
Invoke modelはデフォルトの設定で問題ありません。 Additional Configurationsを設定します。ここでFunction URLsの設定があります。デフォルトでチェックが無効になっているため、忘れずにチェックしてください。 Auth TypeはNoneにします。 AWS LambdaのロールはCreate a new role with basic Lambda permissions（新規作成）を選択します。 最後にCreate functionをクリックします。 動作確認 作成を実行すると画面がLambdaの編集画面に遷移します。 画面右側にあるURLをクリップボードにコピーして開きます。※赤枠のアイコンをクリックしてください。 小さく表示されますが、無事にURLを発行できました。 Function URLsはどのようなところに使えるか 動作イメージができた
LambdaとS3間の再帰ループ検出の検証 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 株式会社ジールの @oreo_tです。 2024/10/9のアップデートで、AWSのLambdaとS3間の再起ループの検出と自動停止ができるようになりましたので紹介しようと思います。 今回の更新情報 Lambdaの再起ループ検出について この機能は、Lambda関数が再帰的に呼び出されることで意図せず延々と動作し、莫大なコストがかかってしまうという事故を防ぐための措置で、デフォルトで有効化されています。 Lambda関数の設定で機能のオンオフの切り替えができますが、ループ処理を16回検知したら停止する、という閾値は変更できず固
Lambda が timeout する際に graceful に落としたい日々だった
2023-10-01T00:00:00.000Z 3a1e28ee-19ba-3ae8-3af1-2a2ae2cf1a2b Task timed out after 300.49 seconds Lambda を実装する上では冪等性が重要で、このようにタイムアウトが発生したとしても次に開始される処理には影響がないようにすることが求められます。が、場合によっては上記のタイムアウト時の仕様が困ったことになる場合があります。当社で Lambda を使った処理を実装している上でも、Lambda 内のある処理がされないうちにタイムアウト時間に到達してしまうことで、運用上想定していない挙動が発生してしまうことがあり、頭を悩ませていました。 Lambda を graceful にシャットダウンさせたい Python にはデコレータ[1]という概念があり、これを使うことで関数の前後に任意の処理を追加するこ
「AWS Lambda performance tuning: Best practices and guidance」のチョークトークに参加しました #AWSreInvent #SVS312 | DevelopersIO
「AWS Lambda performance tuning: Best practices and guidance」のチョークトークに参加しました #AWSreInvent #SVS312 「AWS Lambda performance tuning: Best practices and guidance」のチョークトークに参加してきたので、レポートをまとめます。 SBJソリューション部のserinaです。 AWS re:Invent 2024に参加してきました。 「AWS Lambda performance tuning: Best practices and guidance」のレポートをします。 スライドの枚数は少ないですが、資料はこちらで公開されています。 セッション概要 In this chalk talk, you learn about opportunities t
AWS Lambdaのトリガー上限数 - Qiita
はじめに Lambdaにロググループとか色々トリガーとして設定することが多いと思います。 今回はトリガーの上限数についてまとめて行こうかなと思います。 Lambdaとは AWSが提供しているサーバレスコンピューティングサービス。 EC2とは違ってオペレーションシステム（OS）などの管理が不要で、開発者がコードを書くことに集中できるメリットがあります。 トリガーとは AWS Lambda関数を実行するきっかけとなるイベントのことを指します。 トリガーの設定をしてあげるとUIにトリガー数が表示されます。 トリガーの上限 ただ、トリガー何個も何個も設定できるものではなくて上限が存在します。 Lambda関数のリソースポリシーのサイズが制限値を超えてしまうとエラーになります。 上限値は20KBでクォーターを引き上げることもできない。（もし、上限に達したらもう一つLambdaを作る必要あり） おまけ
Type Level Runtime for AWS Lambda - エムスリーテックブログ
こんにちは、デジスマチームでエンジニアをやっている堀田です。 先日、社内のTechTalkで「TypeScriptをAWS Lambdaで実行する」というテーマで話をしました。 TSは型で色々できるのだから、Lambdaの実装を型だけでやれたら嬉しいですよね？という内容です。 この記事ではその時の話を紹介します。 0. ゴール設定 1. 普段通りLambdaを使う 2. Lambda関数を型だけで実装する 3. Handler型を動かすために Custom Runtime bootstrapの実装 TypeScript Compiler API 麻雀の点数型をAPIに まとめ We are hiring!! 0. ゴール設定 初めにゴール設定をします。 型定義が書かれたTSファイルをアップロードして、 Eventを渡し、 動けばOK を目標とします。その様子を下図に示します。 1. 普段通
AWS Lambda が Python 関数と .NET 関数用の SnapStart のサポートを開始 - AWS
本日より、Python および .NET のマネージドランタイムを使用する関数で Lambda SnapStart を使用することで、1 秒未満の起動パフォーマンスを実現できるようになりました。Lambda SnapStart は、リソースをプロビジョニングしたり複雑なパフォーマンス最適化を実装したりすることなく、応答性が高くスケーラブルなアプリケーションを簡単に構築できるようにするオプトイン機能です。 予期しないトラフィックの急増に対応する、レイテンシーの影響を受けやすいアプリケーションでは、起動時のレイテンシーが高くなると (コールドスタート)、ユーザーエクスペリエンスに遅延が生じる恐れがあります。Lambda SnapStart を使用すると、関数のコードが事前に初期化され、初期化済みの実行環境のスナップショットが作成されてキャッシュされるため、起動時間を短縮できます。関数が呼び出さ
Next.jsをLambda Web Adapterでサーバレスに動かしてみた[AWS SAM] - Qiita
はじめに こんにちは。elephantnodeと申します。 普段は都内で社内情シス+Web系エンジニアとして業務しています。 勤め先でNext.jsを使ったWebサイトをAWS LambdaとLambda Web Adapterを使ってサーバレスに動かしてみたので、構築した手順についてご紹介します。 AWSへのデプロイにはAWS SAMを利用します。 またデプロイしたあとにCloudFrontでOAC(オリジンアクセスコントロール)とWAFを利用して、Lambdaを保護しながら公開する方法もやってみましたのでそちらもご紹介します。 AWS Lambda Web Adapterとは LambdaでWEBアプリを実行するためのオープンソースソフトウェアツールです。 AWS Lambda Web Adapterは、「Webフレームワークで作ったアプリ」を入れたコンテナを、そのままAWS Lamb
![Next.jsをLambda Web Adapterでサーバレスに動かしてみた[AWS SAM] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/fd2f3099b4c2a038bc2ab14a38d7d0450df7acda/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMzgzODglMkZwcm9maWxlLWltYWdlcyUyRjE1Mjg3MDE0MTc_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9NzIzZDkzMDg5OTA4ZDZmZTlhYjU4ZDZlMGI3ZjMxZjY%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D1252ae96de8cbcb048bd2475ca78a4c5%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9TmV4dC5qcyVFMyU4MiU5MkxhbWJkYSUyMFdlYiUyMEFkYXB0ZXIlRTMlODElQTclRTMlODIlQjUlRTMlODMlQkMlRTMlODMlOTAlRTMlODMlQUMlRTMlODIlQjklRTMlODElQUIlRTUlOEIlOTUlRTMlODElOEIlRTMlODElOTclRTMlODElQTYlRTMlODElQkYlRTMlODElOUYlNUJBV1MlMjBTQU0lNUQmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz00ODU2ZDg1ODk5NzFmZTk2ODNkZTc4MzcwMjE0MzUyZQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBtdXJvZG9uJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9YjY0NGM4ZGJkMGVlMzFkNGUzMGQyMGU0NDgyZjU4MDg%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D3b76c0b54d0b60bc8bb10f8723ba6500)
コンテナイメージを使用してpuppeteerをAWS Lambdaで動かす
こんにちは。株式会社スペースマーケットでフロントエンドエンジニアをしておりますwado63です。 puppeteerをコンテナイメージを使ったlambdaで動かそうとした際にかなり苦戦したので、その際のtipsを共有できればと思います。 AWS, Lambda, Puppeteer, Dockerをそれぞれ使ったことあるような方向けの記事となっておりますのでご了承ください。 ざっくりまとめ Macのarm64環境でdocker buildしてpuppeteerは動かせますがversion指定が行いづらい chromeはimageを小さくするためにchrome-headless-shellを使う Rosettaを使ってx86_64環境でdocker buildするのがいいが、aws-lambda-ricのinstallに時間がかかる lambdaでpuppeteerを動かす際、ブラウザは同じ
[アップデート] AWS Lambda コンソール上でそのまま CloudWatch Logs の Live Tail 機能が使えるようになりました | DevelopersIO
[アップデート] AWS Lambda コンソール上でそのまま CloudWatch Logs の Live Tail 機能が使えるようになりました いわさです。 Amazon CloudWatch Logs にはオプション機能として Live Tail というものがあります。 こちらを使うとリアルタイムでログ出力状況を確認することができます。 非常に便利な機能でローンチ後もよく私は使っています。 一方で、AWS Lambda の開発中にコンソール上でテスト実行したい時などもこの機能を使うのですが、毎度 CloudWatch Logs 画面に遷移してそこから専用画面を起動して...という手順を踏む必要がありました。 ログ自体は Lambda コンソールからそのまま確認することができていたと思いますが、Live Tail は使えませんでした。 これが先日のアップデートで、AWS Lambda
![[アップデート] AWS Lambda コンソール上でそのまま CloudWatch Logs の Live Tail 機能が使えるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0b0239f4f732bac9a637219a10b4e613cdc9d6f2/height=288;version=1;width=512/https%3A%2F%2Fimages.ctfassets.net%2Fct0aopd36mqt%2Fwp-thumbnail-484d8afca1cbe50513cd4d6738af2960%2Ffa0838fa40f247093d532945fc785e88%2Faws-lambda)
AWS Lambda カスタムランタイムを使って性能改善&コスト削減 - MOTEX TECH BLOG
はじめに こんにちは、アプリケーションチームの桑名です。 LANSCOPE エンドポイントマネージャー クラウド版のバックエンドは、開発言語として主に Scala を使用しています。 またサーバレスアーキテクチャで構成している部分が多いので、必然的によく AWS Lambda (以下 Lambda) を使います。 Scala はビルドを通じて JAR ファイルに変換できます。それを Lambda の Java ランタイムで動かしています。 今回は月に10億回以上呼ばれる Lambda があり、性能改善兼コスト削減としてカスタムランタイムに移行してみたので、その紹介と効果についてお話しします。 Lambda と Java ランタイムのパフォーマンス問題 Java ランタイムは他のランタイムと比べて、以下のような特徴があります。 ・メモリ消費量が多い ・クラスロードが多く時間がかかる ・実行環
LambdalithとSingle purpose Lambdaは1つのAPI Gatewayで共存できる | DevelopersIO
Lambdalithな構成でサーバーレスアプリケーションを実装する事例が増えてきていると思います。実際に Lambdalith と Single purpose Lambda が1つの API Gateway の中で共存できるのか、CDKを用いて実装し試してみました。 はじめに 最近、Monolith Lambda(以降 Lambdalith)な構成でサーバーレスアプリケーションを実装する事例が増えてきていると思います。 サーバーレスアプリケーションを作る際に、最初はLambdalithで構成し、必要になった場合に Single purpose Lambda と共存させれば良さそう、という意見が見られるようになりました。 今回は実際に Lambdalith と Single purpose Lambda が1つの API Gateway の中で共存できるのか、CDKを用いて実装し試してみま
Lambdaのログを見てみよう＆検証リソースお片付け！AWSでサーバーレスに触ってみた #5 | LAC WATCH
こんにちは。クラウドサービス部の小池です。 サーバーがない状態でどうやってシステムを構築するのか想像できない、実際に手を動かしてみないとピンと来ないという、スキルシフト仲間の声にお答えしたサーバーレス初心者向けの連載第5回です。 すでにハンズオンのシナリオは消化済みですが、最終回である今回ご紹介するのは、「ここまでやってみた検証のログを見てみる＆リソース削除」です。遠足はお家に帰りつくまで。検証はリソース削除まで。塵も積もれば山となる課金対象リソースを残さないようにしましょう。 AWSが公開しているハンズオン※の、セクション1～4までが当連載の第4回までです。今回はその間のログを追いかける手段を確認したので紹介します。そのうえでセクション5のリソースお片付けを実施します。公式ハンズオンの隙間を埋める手がかりとして、この記事をご覧ください。 ※ サービス連携の体験ハンズオン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EventBridgeからLambdaに起動日時を連携する - Qiita
