AWS でバッチ処理・定期実行する4つの方法
4つのバッチ処理・定期実行方式の詳細情報それぞれのバッチ処理・定期実行方式について詳細を見ていきます。 EC2について使用するAWSサービスEC2 処理概要Linux系OSで用いられる定時実行機能であるcronのコマンドを使用する メリット昔からよく使われているcronの知識が使える デメリットEC2インスタンスを起動しておく必要があり、使っていない時間もコストがかかる 障害に弱い。EC2サーバに障害があると終わる サーバが複数になると管理が大変 SQS×ECS使用するAWSサービスEventBridge SQS ECS 処理概要EventBridgeでキューを生成。ECSコンテナでキューを取得して実行する メリットECSを起動しておくため、コンテナの起動時間を要さない。 デメリットEventBridgeでキューを生成するが、EventBridgeはまれに1 つのイベントに対して複数回トリ
AWSサーバーレス環境でのロギング - Qiita
はじめに 最近、プロジェクトで運用回りの設計を行う機会があったので、その際に学習したことをまとめました。AWSのLambdaなどを使っている方でロギングに興味があるけど、まだ良く理解できていないという方のためになれば幸いです。ここではサーバレス環境でのロギングの基本について解説しています。 また、監視に関した記事も投稿していますので、そちらも興味がございましたら一読下さい。 ログ戦略 マイクロサービスの場合、ログ戦略がとても重要になってきます。 マイクロサービスは複数のサービスから構成されているため、ログ戦略を間違えると調査が困難になり得るからです。ただし、AWSの場合は何でもかんでもログを出力するのは間違いです。標準的なログ出力機能を備えているサービスも多いため、重複が多くなりコスト増につながります。つまり、適切なログのみを出力する必要があります。 Lambdaのログ戦略 開発環境と本番
CloudFront で Lambda@Edge を使って OpenID Connect (OIDC) 認証
CloudFront と S3 を使ってサーバーレスなウェブサイトを構築し、特定のユーザーにのみ公開するために Google, GitHub など外部の認証プロバイダ (IdP) を使って認証をおこなう方法です。CloudFront ではリクエスト中継時に Lambda 関数を実行し認証などの処理をおこなうことができるため、それを使うことにします。 OpenID Connect による認証シーケンス CloudFront にアクセスした際のシーケンスは以下のようになります。 構築手順 OpenID Connect (OIDC) による認証をおこなう Lambda 関数を Widen/cloudfront-auth というツールを使って生成します。様々な認証プロバイダに対応していますが、ここでは Google で認証し、特定ドメインのメールアドレスのユーザーのみをアクセス許可してみます。 ※
AWS Lambda with SAM Template to subscribe an SQS to an SNS Topic.
This block diagram describes an SNS Topic that has an SQS Subscription and a Lambda that fires off when a message is received by the SQS Queue. If you are like me, you created a simple SAM Template that defined the Lambda AWS::Serverless::Function definition that has an SQS Queue as its event source. While that is most of the solution you would find that messages never flow into your SQS Queue. Yo
AWS SAMにおける環境管理のベストプラクティス | 株式会社CyberOwl
こんにちは、エンジニアインターンの佐藤です。 SAMを使えば、LambdaやAPI Gatewayの再現をローカルで行うことができ、そのデプロイもできます。しかし、API Gatewayにはステージがあったり、Lambdaにはエイリアスがあったりと、どれを活用するべきなのかまとまっている記事がありませんでした。 この記事では、そのわかりにくい概念から説明し、SAMデプロイのベストプラクティスを紹介していきます。 またSAMについては、２つ記事を出しているので、ぜひ見てみてください。 ・AWS SAM + DockerでAWSサーバーレス環境をローカル構築する ・CloudFrontなしでS3をHTTPSカスタムドメインでホスティングしてみた ※SAMのバージョンは1.24.1を使用しています API Gatewayのステージ Lambdaのエイリアスとバージョニング template.ya
AWS Lambdaで使いたい環境変数をAWS SAM CLIでどうするか - Qiita
はじめに 環境変数の扱いについて、戸惑いがありましたのでまとめます。 用途や仕様の背景が理解し切れて一ませんが、少なくとも現状はベストエフォートとは思えず、改善が進むと嬉しいです。 やっていたことの概要 言語：Rust（記事としては、Rustに依存する内容ではないです） 作っていたもの：AWS Lambda関数 動作確認の方法：後述（※） デプロイの方法：AWS SAM CLI（sam deploy） その他：AWSの設定はCloudFormation（template.yaml）に集約 ※動作確認の方法 AWS SAMを使うとローカルでLambda関数の動作確認が可能ですが、私の環境ではビルドが遅くデプロイ直前までは、cargo runで動作確認を行っていました。 動作確認タイミング 動作確認の例 動作確認環境
[チュートリアル] Amazon SQSメッセージを処理するLambda関数を作成してみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 Amazon SQSは、AWS上で疎結合でスケーラブルなシステムを実装するのに役立つフルマネージド型のメッセージキューイングサービスです。 Amazon SQS（サーバーレスアプリのためのメッセージキューサービス）| AWS しかし私は今までAmazon SQSを使う機会がなかなか無く、いい加減触ってみようかなと思っていたところ、ちょうど良さそうなチュートリアルを見つけたので、今回やってみました。 やってみた やってみたのは、次のAmazon SQSメッセージを処理するLambda関数を作成するチュートリアルです。 チュートリアル: Amazon SQS で Lambda の使用 - AWS Lambda 実行ロールを作成する Lambda関数実行用のIAMロールを作成します。 https://console.aws.amazon.com
![[チュートリアル] Amazon SQSメッセージを処理するLambda関数を作成してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d031615888fd78a047f61d34a19cd8209cb8b123/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-sqs.png)
AWS Lambda の arm64 アーキテクチャで Go を実行するためのカスタムランタイムを使った SAMテンプレートの紹介 | DevelopersIO
やってみた arm64 対応で必要だったポイントを説明します。 重要なのは Lambda の設定を記述したtemplate.yamlと、ビルドの設定を記述したMakefileの2箇所だけです。 ディレクトリ構成 . ├── README.md ├── hello-world │ ├── Makefile │ ├── go.mod │ ├── go.sum │ ├── main.go │ └── main_test.go ├── samconfig.toml └── template.yaml Go のランタイムを使うわけではないので Lambda の設定には一切 Go の文字はないです。 Runtime で Amazon Linux 2 のイメージを指定 Architectures でリスト形式で arm64 を指定 Metadata の BuildMethod で後述
AWSでバッチ処理を実装する際の選択肢とサービス比較
処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
Handling webhooks with EventBridge, SAM and SAR
Applications I worked on in the last decade were rarely isolated from the rest of the world. Most of the time, they had many interactions with other applications out there. From time to time, some of these integrations are using WebSockets, which makes our integration realtime. But much more common integration is using webhooks to send us new changes, and give us some API or SDK to allow us to com
Lambdaを部分的にTerraformで管理する
『ブログのインフラ構成を改善する』 にて残った以下の課題。 しかしこれによりWAFの ウェブACL x 1とルール x 1 の使用料が月6ドルが掛かってしまうので、そのうち(1)のLambda@Edgeでアクセス制限す流方法に変更しようと思う。 ということでWAFからLambda@EdgeによるBASIC認証へ移行する。 目的 今回の目的は以下4つ。 WAFをやめてBASIC認証で保護する TerraformでLambdaを管理するが関数コードは管理しない Lambdaのビルド＆デプロイはTerraform外から行う ClojureScript + shadow-cljsでLambdaを作る WAFをやめてBASIC認証で保護する 『ブログのインフラ構成を改善する』 では「TerraformからWAFv2を使ってみたい」ということでブログ開発環境のアクセス制限に使用してみた。 とりあえず使
Lambdaをどう管理する？ - すきま風
Terraformでインフラコードを管理しているとLambdaの管理は割と悩ましい問題になる。 Terraformで管理したいのはインフラコードであってアプリケーションコードではないのだが、 TerraformでLambdaのresourceを定義するためにはアプリケーションコードが必要になってしまうからだ。 当初考えていた手段は以下の通り terraform repositoryにlambda zip fileを置く lambda zip fileをs3で管理する terraform repositoryでapplication codeも管理してしまう terraformを諦めてSAM CLIを利用する etc ... できるだけterraformでの管理を行いたかったので、当初 02. を検討していたが、2020/08時点でterraformにある既知の不具合のせいで s3上のzip
[アップデート] Lambda から共有ファイルストレージの EFS が利用可能になりました！ | DevelopersIO
本日のアップデートで Lambda から EFS が利用可能になりました！ AWS Lambda support for Amazon Elastic File System now generally available 何が嬉しいのか S3 を介さないファイル連携 Lambda でファイル連携を行うには一般的に S3 を介して利用されてきましたが、そもそも連携するためには連携させたいシステムが S3 にアクセスできるような仕組みになっている必要がありますが、オンプレからそのまま AWS に移行してきたようなシステムの場合、S3 へアクセスするための改修にハードルを感じる方も少なからず居られたかと思います。 今回、EFS に対応したことで単純にファイルシステムとしてファイル連携することが可能となりますので、そういった改修をせずとも Lambda と連携させた処理が実装しやすくなるのではな
S3をトリガーとするLambdaの冪等性をDynamoDBで実現してみた | DevelopersIO
どうも！AWS勉強中の西村祐二＠大阪です。 みなさんLambdaは使ってますでしょうか。 サーバレスでいろんなことができるので個人的にかなり好きなサービスです。 Lambdaは様々な使い方ができますが S3と連携してファイルがアップロードされたらLambdaで 何かしらの処理を実行するなどの使い方をしている方多いのではないでしょうか。 そんな時に重要になってくるのが冪等性です。 今回はLambdaの冪等性をDynamoDBの条件付き書き込みという機能を利用して 冪等性を実現してみたいと思います。 なんで冪等性が必要なのか Lambdaはたまに2回以上実行されるときがあるからです 例えば Lambdaでアクセスログの集計処理などを行っている場合、 複数回処理されると複数回集計されて結果がおかしくなるときがあります。 また、複数のファイルをまとめてアップロードした際に 何らかの理由で一部のファ
AWS Lambda+PhantomJS/CasperJSでスクレイピング - プログラマでありたい
AWS Lambdaはサーバ不要のプログラムの実行エンジンです。インフラ側はAWSが管理するのですが、実行原理が解っていると思いの外に自由度が高いです。Shellやコマンドを同梱させれば動くし、依存するライブラリがなければAmazon Linux上でビルドして同梱させれば良いのです。その実例の1つに、Lambda+PhantomJSがあります。PhantomJSは、ブラウザ不要で画面描画ができるツールです。リンクのクリックやボタンの押下・フォームに入力も出来るので、ログインが必要なページの情報を取ってくるということやスクリーンショットを取るといったことも可能です。LambdaとPhantomJSを組み合わせてお手軽スクレイピングをしてみましょう。 プロジェクトの用意 Github上にビルド済みのライブラリ込のプロジェクト（phantom-lambda-template）があるので、それを使
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
