AWS Athenaの安価な代替手段：Lambda x DuckDB - Qiita
Athena Amazon Athenaは、標準SQLを使用してAmazon S3に保存されたデータを分析することができる、強力でサーバーレス、インタラクティブなクエリサービスです。複雑なETLパイプラインやデータウェアハウスを設定して管理する必要がなく、大量のデータを処理する組織にとって魅力的なオプションです。ただし、Athenaの価格設定は、予算が厳しい場合など、すべてのユーザーに適しているわけではありません。このブログ投稿では、Athenaの代替となる、低コストで同等の機能を提供できるアルティメットを紹介します。 利点: Athenaの主な利点の1つは、Amazon S3のデータを、複雑なETLプロセスや専用のデータウェアハウスなしに、標準SQLクエリを使用して分析できることです。 Athenaはサーバーレスでもあり、データ量やクエリの複雑さに基づいて自動的にスケールされるため、事前
「詳解 AWS Lambdaコールドスタート」というテーマでClassmethod ODYSSEYに登壇しました #cm_odyssey #devio2024 | DevelopersIO
「詳解 AWS Lambdaコールドスタート」というテーマでClassmethod ODYSSEYに登壇しました #cm_odyssey #devio2024 Classmethod ODYSSEY OnlineとDevelopersIO 2024 OSAKAで「詳解 AWS Lambdaコールドスタート」というテーマで登壇させて頂きました。このブログでは登壇内容を抜粋しながら紹介していきます。 内容 コールドスタート時のLambdaのライフサイクル Lambdaのコールドスタートはざっくり以下のような流れです コールドスタートの過程で以下4つのフェーズが実行されています Create execution environment... Lambda実行環境が構築される Download code... 我々ユーザーがデプロイしたコードがLambda実行環境にダウンロードされる Start
AWS Lambdaを最大限に活用するためのベストプラクティス - Qiita
はじめに サーバーレス大好きなエンジニアです！ みなさん、AWS Lambdaを使ってますか？ 日常的に利用しているけど、最適化についてはあまり考えていない方も多いのではないでしょうか。 実際、私もあまり意識せずに使っていました。 使い方をちょっと工夫するだけで、Lambdaのパフォーマンスがぐんと上がるんです！ 今回は、AWSのドキュメントに書かれているベストプラクティスを参考にしながら、Lambdaを最大限に活用する方法をお伝えします。 各セクションのタイトルを見ると、ちょっと難しそうに感じるかもしれませんが、できるだけわかりやすく解説していきますので、ぜひ参考にしてみてください！ 対象読者 Lambdaを使ったことがある人 もっと効果的に使いたいと感じている方 チームの開発効率とコードの品質を向上させたい方 Lambdaに興味がある方 では、早速始めていきましょう！ 目次 ハンドラー
AWS LambdaのコールドスタートとLLRTによる改善について
コールドスタートとは Lambdaはイベント駆動型のサーバーレスコンピューティングサービスです。 API GatewayやEventBridge等様々なサービスから起動されます。 Lambdaが呼び出されると、AWSはLambdaを実行するために必要なインフラストラクチャを自動的に構成・管理を行います。 関数が初めて呼び出される場合や長時間呼び出されていなかった場合、新しいコンテナを起動する必要があります。これを「コールドスタート」と呼び、時間がかかり、遅延が発生することがあります。 コールドスタートの影響について コールドスタートによる遅延は様々な影響が考えられます。 特にリアルタイム性が求められるようなシステムでは、この遅延で大きな障害や想定していなかった事象が発生することがあります。 例えばAPIのレスポンス時間が重要なアプリや、IoTデバイスからのイベント連携処理等の数100ms以
AWS Lambdaのインメモリキャッシュについて
はじめに AWS Lambdaは、イベント駆動型のサーバーレスコンピューティングサービスであり、API GatewayやEventBridgeなど様々なサービスから起動されます。 この記事ではAWS Lambdaでのインメモリキャッシュのポイントと、その実装方法について解説します。 キャッシュとは コンピューティングにおいて、キャッシュは、データのサブセットが保存される高速のデータストレージレイヤーで、通常は一時的な性質のものです。これにより、それ以降に同じデータのリクエストが発生した場合、データのプライマリストレージロケーションにアクセスするよりも高速にデータが供給されます。キャッシュにより、以前に取得または計算されたデータを効率的に再利用できるようになります。 AWSでキャッシュを活用することのメリット AWSでキャッシュを活用することで以下のようなメリットがあります。 パフォーマンス
「CloudFrontがLambda Functions URLへのOACに対応！」の何がすごいか - Qiita
はじめに CloudFrontのOrigin Access Control（OAC）がLambda Functions URLに対応しました。 つまり、Functions URLとCloudFrontのインテグレーションが実現できるようになりました！うおおおお！ と、このアプデの何がすごいの？ という点がいまいち伝わってない人向けに、この記事ではもろもろの経緯とユースケースを紹介します。 経緯 Functions URLs、その課題 2022/4にLambdaの組み込みエンドポイントとしてLambda Functions URLが利用できるようになりました。 これは従来ALBやAPI Gateway経由のリクエストしか扱えなかったAWS Lambdaにとって、同期リクエストを受ける便利な選択肢です。API Gatewayでネックだった29秒制限もないので、Lambdaの起動時間（最大900
AWS Lambda Function URLs（関数URL）がCloudfrontのOACに対応したので試す - Qiita
はじめに AWS LambdaのFunction URLs（関数URL）は、Lambda単体でHTTPSのURLを発行し、HTTPリクエストをトリガーにLambdaを実行出来るようになる、非常に便利な機能です。 API Gatewayと統合せずともLambdaのみでWebAPIを構築出来るようになり、プロトタイピングやマイクロサービスに有用です。 関数URLの制限 ところで、関数URLの実行の認可は、IAMを用いた方法しかありませんでした（IAMロールベースの認可か、認可なししか無かった）。 Cloudfrontをリバースプロキシ的に前段に配置し、関数URLと繋ぐことで、ドメインを当てたりキャッシュを活用したり、便利な訳ですが、その際に上記が問題となります。というのは、CloudfrontからIAMベースのリクエストを行うには、Lambda@Edgeを利用するしかありませんでした（オリジン
“The Five-Factor Serverless“ AWS Lambda の9年を振り返りつつ、これからを考える。 - Qiita
“The Five-Factor Serverless“ AWS Lambda の9年を振り返りつつ、これからを考える。AWSlambdaserverlessreinvent2023 re:Invent 2023の Werner Vogels のセッションスライドを振り返りつつ。 AWS Lambda は、2014年にGAしました。 Lambda 以外にこの年は Auroraや Codeシリーズなども発表されており、大変盛り上がった re:Inventになったことを記憶している人も多いのではないでしょうか。 Cost 効率を度外視して、Lambda 関数のようなものを実装するなら、関数ごとに専用の T2 インスタンスを割り当て、そこに Lambda fx 専用の環境とプロセスを用意すれば良い。 仮に、このような形で、現在までの Lambdaが運用され続けていたとしたらここまで多く利用され気
Amazon Kinesis Data Streams launches cross-account access with AWS Lambda
Amazon Kinesis Data Streams now supports resource-based policies, so you can process data ingested into a stream in one account with an AWS Lambda function in another account. Amazon Kinesis Data Streams is a serverless real-time data streaming service that can continuously capture gigabytes of data per second from hundreds of thousands of sources. AWS Lambda is a serverless compute service that l
AWS Lambda が Amazon MSK、セルフマネージド Kafka、Amazon MQ for Apache ActiveMQ、および Amazon MQ for RabbitMQ をイベントソースとしたイベントフィルタリングのサポートを開始
AWS Lambda では、Amazon MSK、セルフマネージド Kafka、Amazon MQ for Apache ActiveMQ、および Amazon MQ for RabbitMQ のコンテンツフィルタリングオプションのサポートが開始されました。イベントパターンのコンテンツフィルタリングを使用すると、複雑な規則を記述して、Lambda 関数の呼び出しにより有意義なイベントのみが処理されるようにできます。これにより、お客様の Lambda 関数へのトラフィックを減らし、コードを簡素化し、全体的なコストを削減することができます。フィルタリングは、SQS、DynamoDB、および Kinesis を Lambda のイベントソースとして既に利用可能でした。 お客様は、フィルタリングをサポートするイベントソースをトリガーとする Lambda 関数のためにイベントソースマッピングを作成ま
Introducing the new AWS Serverless Snippets Collection | Amazon Web Services
AWS Compute Blog Introducing the new AWS Serverless Snippets Collection Today, the AWS Serverless Developer Advocate team introduces the Serverless Snippets Collection. This is a new page hosted on Serverless Land that makes it easier to discover, copy, and share common code that can help with serverless application development. Builders are writing serverless applications in many programming lang
API Gateway 開発者に読んでほしい、意味がわかると便利な実行ログ - Qiita
API Gateway (REST API) では、開発やトラシューに役立つ実行ログ (Execution Logs) を出力することができます。 AWS サポートに問い合わせる際にも、この実行ログがあるとスムーズです。 実行ログは、ステージから設定できます。 設定後、API Gateway にリクエストを投げると、CloudWatch Logs に出力されます。 ロググループ名は、API-Gateway-Execution-Logs_<API ID>/<ステージ名> です。 こちらの実行ログの内容を解説していきます。 リクエスト/レスポンス API Gateway に Postman から以下のようにリクエストを投げます。 パスパラメータ groupId=111、クエリパラメータ userId=222、本文に name=hoge を指定しています。 API Gateway はこのリクエス
VPC Lambdaのコールドスタートにお悩みの方へ捧ぐコールドスタート予防のハック Lambdaを定期実行するならメモリの割り当ては1600Mがオススメ？！ | DevelopersIO
2019/5/31追記 先日のBlack BeltでLambdaの内部構造について一部解説がありました。 ※スライド公開され次第更新します これまでWorkerというコンポーネントはMicroVMを指しているという理解だったのですが、実際にはMicroVMをホストするEC2インスタンスのレイヤーがWorkerに相当するようです。以後の「Worker」という表記は基本的に「MicroVM」に置き換えて読んで頂くようお願いします。 はじめに サーバーレス開発部＠大阪の岩田です。 先日のブログでLambdaのコールドスタートの裏側について考察しました。 これまでの常識は間違っていた？！Lambdaのコールドスタート対策にはメモリ割り当てを減らすという選択肢が有効に働く場面も 本ブログでは前回の考察をベースにLambdaのコールドスタート回避に関するテクニックについて深掘りしていきます。なお、以後
LambdaのNode.js v8.10でタイムゾーンを指定してもDateがUTCになる問題 - Qiita
AWS LambdaのNode.jsランタイムでv8.10が公開された時に、喜び勇んでasync/awaitで書き換えて更新した時にハマった点。 tl;dr TZ環境変数はコード側ではなくLambdaの環境変数に設定しよう Dateのタイムゾーン(TZ)がUTCになる v0.10の頃から更新してきた関数だったので、タイムゾーンを日本にするためにコードの先頭でこう書いていました。 これでDateを処理する時に日本時間でうまく動いていましたが、ランタイムをv8.10にするとUTCになってしまいました。 検証するために、こんな関数を作成したところレスポンスは 1525651200000 になりました。 このunixtime(ms)は日本時間だと 2018/05/07 09:00:00 となりUTCとして扱われてしまっています。 "use strict"; process.env.TZ = "As
AWS CodeStar プロジェクトにおける単体テストの実行 | Amazon Web Services
Amazon Web Services ブログ AWS CodeStar プロジェクトにおける単体テストの実行 このブログ記事では、AWS CodeStar プロジェクトの一部として単体テストを実行する方法についてご紹介します。AWS CodeStar は AWS 上でアプリケーションを素早く開発、ビルド、そしてデプロイするのに役立ちます。AWS CodeStar を使えば、継続的デリバリ（CD）のツールチェーンを構築しソフトウェア開発を一箇所に集約して管理することができます。 単体テストはアプリケーションのコードの個々の単位をテストし、問題を素早く特定し取り去るのに役立ちます。単体テストは、自動化された CI/CD プロセスの１部分を構成することで、バッドコードが本番環境にデプロイされてしまうことを防ぐのにも役立てられます。 多くの AWS CodeStar プロジェクト テンプレートに
Node.js 8.10 runtime now available in AWS Lambda | Amazon Web Services
AWS Compute Blog Node.js 8.10 runtime now available in AWS Lambda This post courtesy of Ed Lima, AWS Solutions Architect We are excited to announce that you can now develop your AWS Lambda functions using the Node.js 8.10 runtime, which is the current Long Term Support (LTS) version of Node.js. Start using this new version today by specifying a runtime parameter value of nodejs8.10 when creating o
AWS Lambda Support for AWS X-Ray | Amazon Web Services
AWS News Blog AWS Lambda Support for AWS X-Ray Today we’re announcing general availability of AWS Lambda support for AWS X-Ray. As you may already know from Jeff’s GA POST, X-Ray is an AWS service for analyzing the execution and performance behavior of distributed applications. Traditional debugging methods don’t work so well for microservice based applications, in which there are multiple, indepe
AWS X-Ray Makes AWS Lambda Request Tracing Generally Available
AWS X-Ray’s integration with AWS Lambda is now generally available for all customers. You can use AWS X-Ray to trace requests made to your serverless applications built using AWS Lambda. This enables you to gain insights into the performance of serverless applications, allowing you to pinpoint the root cause of issues so that you can address them. Previously, you had to rely on custom logging and
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
