米Amazon Web Servicesは、Amazon Simple Storage Service（S3）から取得したデータをアプリケーションへ返す前に、独自のコードを追加して処理できる「Amazon S3 Object Lambda」の提供を、3月18日（現地時間）に開始した。 Amazon S3 Object Lambdaは、既存のアプリケーションと連携してAWS Lambda関数を使用し、Amazon S3から取得するデータを自動的に処理・変換する。Lambda関数は標準のS3 GET requestを使ってインラインで呼び出せるので、アプリケーションコードを変更する必要はない。 Amazon S3 Object Lambdaの使用によって、以下のようなユースケースの単純化が可能になる。 分析環境または非実稼働環境で個人を特定できる情報を編集 XMLからJSONへの変換など、デー
こんにちは。イムチェジョンです。 前はフロントエンドとユーザー管理をやってみました。 今回のブログではAWS Lambda、Amazon DynamoDBを利用し、バックエンドの構築しようと思います。 [サーバーレスのウェブアプリケーションを構築シリーズ] １. AWS Amplify を使った静的ウェブホスティング ２. Amazon Cognito を使ったユーザー管理 ３. バックエンドの構築 (AWS Lambda、Amazon DynamoDB) ４. RESTful API (Amazon API Gateway、 AWS Lambda) アジェンダ 今回の目標 AWS Lambda、Amazon DynamoDBを利用してバックエンドの構築 まとめ 0. 今回の目標 目標：AWS Lambda、Amazon DynamoDBを利用し、バックエンド構築する。 バックエンドで実行
こんにちは。データ・AI戦略部 SREチームの小野です。2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 ここ一年ほど、SRE業務の一環で組織作りに挑戦しています。SREエンジニアの責務は自社サービスを安定稼働させ障害に強い基盤を作ることであり、どちらかというと「システム」に焦点が置かれがちです。しかし、個人的にはシステムを運用するメンバーのマネジメント(ピープルマネジメント)を含めた組織作りも重要だと考えています。なぜなら、どれだけ最先端で素晴らしいシステムを構築してもそれを運用するメンバーの行動次第では、障害につながる恐れがあるためです。 私にとってのSREは組織作りにおける文化のようなものであり、「SRE(文化)を組織にインストールする」気概で色々と挑戦しています。 今回は、その挑戦の一つとして「ヘルプデスク体制を構築した話」をお伝えしたいと思
モノリシックなRailsアプリケーションで、APIのエンドポイント毎にSLOを設定する - Repro Tech Blog
こんにちは、@r_takaishiです。今回は、モノリシックなRailsアプリケーションが提供するAPIについてエンドポイント毎にSLOを設定できるようにしたので紹介します。 解決したい問題 ReproではRailsアプリケーションが様々なAPIを提供しています。このとき、APIのAvailabilityやLatencyについて可視化して障害が起こっていないか、パフォーマンスが低下していないかを調べることがあります。また、APIについてSLOを設定し、サービスの信頼性を保ちつつ開発を行うこともあるでしょう。 Reproでも可視化やSLOの設定は行ってきました。しかし、それらの対象がALBのTargetGroup単位だったり、APIを提供するECS Service単位でした。このような単位だと、API全体についての状況は分かりますが、個々のAPIについての情報は得られません。例えばエンドポイ
Lapper is a wrapper programs for Container running on Lambda. (Beta) - Finatext/lapper AWS Lambdaのエラー通知どうするか問題Finatextでは、サーバレスなタスク実行の基盤として、AWS Lambdaを活用しています。 具体的なユースケースとしては、 CloudWatch EventsのSchedule expressionsをトリガーにした、定時処理SQSやS3のEvent NotificationやCloudWatch Eventsの特定のイベントをトリガーに起動する、非定時処理API Gateway等を介したHTTPSリクエストをトリガーにした、Webサーバとしての処理あたりがあります。 Lambdaを使うことによる恩恵はあらためて言及するまでもないと思いますが、非常に便利に使っています
JavaScript(TypeScript)で メディアサイトを インフラから構築する方法 / jsconf-jp-2021
JavaScript(TypeScript)で メディアサイトを インフラから構築する方法 / jsconf-jp-2021
AWS Lambda 関数の実行の仕組みを知ろう ! - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
builders.flash 読者の皆さん、こんにちは ! AWS のシニアテクニカルトレーナー 野邊 (のべ) です。 今回は AWS Lambda 関数の実行の仕組みをテーマに、主に初学者の方向けに解説していきます ! 私は初学者の方向けに AWS Lambda を解説する時、後述の目次の順番で説明するようにしています。目次のうち、1 から 3 は、AWS Lambda の概要と基本のお話ですので、そのあたりはすでに知ってるよ ! という方は、4 から読んで頂いても大丈夫です ! なお、今回の記事のタイトルの中で「AWS Lambda 関数」という言葉を使ってますが、記事の本文では用語として次のように使っていきますので、あらかじめ確認しておいて下さい！ AWS Lambda : サーバーを意識せずにコードを実行できる AWS のサーバーレスコンピューティングサービス Lambda 関数
初めに 昨日のアップデートでAWS Lambdaは実行結果の返却値を一括の応答ではなくストリーミングな徐々に応答するようなことが可能となりました。 いざ日本語に直そうとすると微妙に難しいタイトルで実際の公式の翻訳がどうなるか次第では少しタイトルを調整するかもしれません。 これまでの方式ではLambdaの機能としては処理完了まで返却値を返すことができず、そういった機能が必要な場合はWebSocket等別の手段をユーザ側で実装する必要がありました。 今回のアップデートではTransfer-Encoding: chunked形式による返却に対応しHTTP/1.1の仕様の範囲内で徐々に値を返却できるようになりました。 またこの方式は応答サイズの上限が従来の6MBではなく20MBまでの対応となるためより大きなレスポンスを返すことができるようです。 Configuring a Lambda funct
![[アップデート]AWS Lambdaでストリーミングな応答が可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4ea229c5864909168e5ad0a78416f2ea552c21f1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-lambda.png)
[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 先日 (2020/06/10) 開催しました AWS Black Belt Online Seminar「サーバーレス イベント駆動アーキテクチャ」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200610 AWS Black Belt Online Seminar サーバーレスイベント駆動アーキテクチャ AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. オーダーサービスの例をとると、非同期になったことにより在庫が結果としてなかったなどの応答はどうやってクライアントに通知するべきでしょうか？ A. このような場合に備えて補償トランザクション
![[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/42a8e52abaec9c9a8afbb465faacf28c1b13ec5c/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F06%2F16%2FThumbnail-1-1119x630.png)
【レポート】最新アーキテクチャの原則から実現まで！「モダンアプリケーションのためのアーキテクチャデザインパターンと実装」 #AWSSummit | DevelopersIO
【レポート】最新アーキテクチャの原則から実現まで！「モダンアプリケーションのためのアーキテクチャデザインパターンと実装」 #AWSSummit AWS Summit Onlineで実施された「モダンアプリケーションのためのアーキテクチャデザインパターンと実装」のレポートです。AWSに関わらずモダンなアプリケーションにとって重要な設計の考え方と実践について話されていました。 はじめに CX事業本部の佐藤智樹です。 今回は「モダンアプリケーションのためのアーキテクチャデザインパターンと実装」のセッションを聞いたのでレポートします。 これからマイクロサービスやサーバーレスなど新しい設計に挑戦する場合や既に取り入れている場合に、アーキテクチャデザインの指標として非常に参考になるセッションだったので是非動画を見てください。 セッションではモダンアプリケーションに対する定義を最初に示したのちに、Bey
【セッションレポート】サーバーレス開発のベストプラクティス ～より効果的に、より賢く使いこなすために～（AWS-30）#AWSSummit | DevelopersIO
【セッションレポート】サーバーレス開発のベストプラクティス ～より効果的に、より賢く使いこなすために～（AWS-30）#AWSSummit はじめに AWS Summit Japan 2024 に参加しました。 「サーバーレス開発のベストプラクティス～より効果的に、より賢く使いこなすために～」のセッションレポートです。 セッション概要 サーバーレスアプリケーションの開発においては、AWS Lambda や Amazon API Gateway、Amazon DynamoDB、Amazon EventBrige など様々なサービスをビルディングブロックとして組み合わせることができたり、開発作業を効率化するツールチェインも多く提供されるようになってきました。AWS Step Functions は Amazon Bedrock と統合され、生成系 AI アプリケーションをシームレスに開発できる
Swift言語がAWS Lambdaで利用可能に。Swift開発チームが「Swift AWS Lambda Runtime」公開
Swift言語がAWS Lambdaで利用可能に。Swift開発チームが「Swift AWS Lambda Runtime」公開 Swift開発チームは、AWS LambdaでSwift言語を利用可能にする「Swift AWS Lambda Runtime」の公開を発表しました。 Use Swift to create serverless functions that run in the cloud. The new Swift AWS Lambda Runtime project is now live. Read more about it here: https://t.co/lPNYGWUzAs — Swift Language (@SwiftLang) May 29, 2020 Swift言語はiOSやmacOSなどのApple社製デバイスに対応したアプリケーション開発のため
Function URLsとIPv6リクエストで実現するケチケチLambda活用術 - KAYAC Engineers' Blog
この記事は 【カヤック】面白法人グループ Advent Calendar 2024 の 23日目の記事です。 カヤック技術部の谷脇です。さて、皆さんはAWS Lambdaが非常に安く使えることをご存知でしょうか？ Lambdaは1ヶ月あたり100万回のリクエストと総実行時間320万秒が無料です。これを超えたとしても非常に安く使えることが知られています。 例えばWebアプリケーションサーバーを例に出すと、ECSなどと違いリクエストドリブンであるという点は考慮する必要があるものの、シンプルな管理画面や社内ツールであればLambdaで十分に実装できます。 一方で罠も存在します。使おうとしたら余計にかかってしまったということがないように、最近私が社内ツールなどでLambdaを活用して実装していった時に編み出したTipsを紹介します。 前提 この記事で想定しているアプリケーションは以下の項目を満たす
AWS LambdaサポートのコンテナイメージとAWS CDKを利用したマイクロサービス開発 | Amazon Web Services
Amazon Web Services ブログ AWS LambdaサポートのコンテナイメージとAWS CDKを利用したマイクロサービス開発 AWS Cloud Development Kit (AWS CDK)はオープンソースソフトウェア開発フレームワークで、使い慣れたプログラミング言語でクラウドアプリケーションリソースを定義する事が可能です。AWS CDKはローカル環境でのコンテナイメージのビルドが可能で、コンテナイメージの Amazon Elastic Container Registry (Amazon ECR)へのデプロイや、コンテナイメージをLambda関数として実行する設定も可能です。AWS CDKは少しの学習だけでAWSへのオンボーディングを加速できます。AWS CDKは既存のスキルやツールの利用が可能であり、クラウドインフラストラクチャの構築タスクに活用できます。 AWS
AWS Lambdaが提供するProvisioned Concurrencyという機能を簡単に説明してみる - Sweet Escape
はじめに 大前提 トラフィックバースト Provisioned Concurrency 何が解決するのか 設定のコツ まとめ はじめに 実は本日開催のイベントでProvisioned Concurrencyという機能について話す予定です。 serverless-newworld.connpass.com このイベントは省エネで特定のトピックについて簡単に話すというのをモットーとしていまして、普段の各種イベントでの講演のようにプレゼンテーション用のスライドを作ったりはしないつもりだったんです。と、言いつつも前回は過去に書いたブログ記事を使って話をしたんです。でも今回はそれすらない。 最初はそれでもいいかと思っていたんですが、口頭だけだとなかなか難しそうだなと思えてきたので4時間後のイベントのためにブログをしたためています。 大前提 AWS Lambdaにはコールドスタートというものがあるのは
AWS Lambdaデプロイツール lambroll v1をリリースしました - 酒日記 はてな支店
AWS Lambda用のデプロイツール、lambroll の v1.0 を2024年2月10日にリリースしたのでお知らせです。 github.com リリースして早速ですが v1.0.0 には一部のフラグ名がv0と異なるというバグがあるので、v1.0.1 以降をご利用ください。 v0.x と v1 の変更点 リポジトリ にまとめてありますが、簡単に解説します。 非互換変更 lambroll archive zipのバイナリを、標準出力ではなくファイルに書き出します デフォルトのファイル名 function.zip(--dest オプションで指定可能) に書き出すようになりました。 --dest - を指定することで、v0と同様に標準出力に書き出すことができます。 lambroll diff コマンドは、常に短縮型の unified 形式で出力します --unified オプションは廃止され
Excel、ベータ版でラムダを導入
MicrosoftのExcel開発チームは現地時間4日、Excelのインサイダーチャンネルのベータ版でラムダを導入したことを公式ブログにおいて発表した。 公式ブログより "Excelの数式は世界で最も広く利用されているプログラミングのひとつと言えるが、基本的な原則が欠けています。それは再利用可能な関数を定義する機能です。"と紹介されるLAMBDA(ラムダ)は、自身が作成した数式を独自の関数として再利用できるようにするもの。ベータユーザーは、数式メニュー＞名前の管理で表示される名前の管理ウインドウで名前(MyTest)を設定し、参照範囲に =LAMBDA(x,y, x+y) のように定義しておけば名前(MyTest)で呼び出せる。 =MyTest(10,10) "begilama"と呪文のような名前を数式メニューの名前管理から命名、足し算を与えてみた セルにbegilama(1,2)と数値を
広告技術部のUT@mocyutoです Gunosyではニュース記事を配信運用するメディア部門とアプリ上などに広告を配信運用する広告部門があります。 （本記事では「メディア」とはグノシーやニュースパスなどのサービスを指し、「広告」はそのメディアに出す広告を指します。） 今回は広告部門が運用している広告システムのスケールの仕組みについて紹介します。 課題 解決策 仕組み スパイクスケーリング スケジュールスケーリング スケールのロジックを記述 まとめ 課題 メディア側のシステムは各サービスごとにチームが分かれており、それぞれ別のシステムで稼働しています。 しかし、広告側のシステムは単一のシステムで動いており、各メディアの広告配信すべてを担っています。 そのため、サービスが増えるごとにトラフィックが増える仕様になっています。 特に速報などのプッシュ通知をメディアが送信すると一気にユーザはアプリを
こんにちは。BASE BANK株式会社 Dev Division にて、 Software Developer をしている永野（@glassmonekey）です。 弊社ではAWS Lambdaを活用する機会が増えまして、 最近メジャーアップデートのあった「AWS SAM CLI」を使ってリリースフローの改善にチャレンジしてみました。 そこで、samコマンドで作成したサンプルプロジェクトをローカルで実行しデプロイする方法を紹介します。それに加えて、現状BASE BANKチームで行っている代表的な運用設定をご紹介します。 今回記事作成に際して、サンプルプログラムを用意しているのでもしよければ手元でご確認ください。 なお、今回LambdaにはGoを採用しました。検証に使用した環境は以下の通りです。 macOS: 10.15.x (Catalina) SAM CLI: version 1.2.0
AWS Compute Blog Introducing AWS Lambda Extensions AWS Lambda Extensions is now generally available, For more information, see “Getting started with using your favorite operational tools on AWS Lambda“. AWS Lambda is announcing a preview of Lambda Extensions, a new way to easily integrate Lambda with your favorite monitoring, observability, security, and governance tools. In this post I explain ho
初めに IAMのアクセスキーが漏洩してしまった際に、漏洩を検知して対象のIAMアクセスキーを削除する仕組みを作る必要があったのでその内容について記載します。 構成 Trusted Adviserのルールを利用してEventBridegeで検知し、SNSを利用して通知し、Step FunctionsとLambdaで検知したIAMアクセスキーを削除します。 構成としては以下のようになります。 ※この構成はTrusted Adviserがバージニア北部リージョンでしか情報を取得できない関係で、バージニア北部リージョンで作成する必要があります。 今回は以下のTrusted Advisor toolsを参考にしました。 Trusted Adviser Trusted Adviserでは有効化しておけば特に設定しておくことはないです。 「漏洩したアクセスキー」のルールを使用してIAMアクセスキーの漏洩
プライベートな用事でサーバサイドで何かやりたい場合、サーバレスな構成が第一選択になる。規模が十分に小さい場合、サーバレスにした方が安い。常にインスタンスが立ち上がっているような構成は（たとえ冗長構成を取らなくても）プライベートな用事程度では大げさになる。またサーバレスな構成は放置しやすいのも魅力である。 Lambdaで動くcockscombot 最近、サーバサイドで何かしたあとの通知先としてSlackを使っている。Slackはちょっとしたユーザーインターフェースの代わりになる。その延長線上でSlackアプリを作ってみようと考えた。Slackが提供しているBoltというのを使うと、Slackアプリが簡単に作れる。 Slack | Bolt for JavaScript | Bolt 入門ガイド BoltはAWS Lambdaにデプロイできるようになっている。ドキュメントではServerles
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 今回は、今話題の Claude 3 でAWS CDKというAWSインフラのプロビジョニングツールを使い、簡易的なメール通知の仕組みを作成しました。 基本的にはClaudeに尋ねながら構築を行っており、AWS CDKの最初のセットアップ以外はコードをほとんど書いていません。 なので、AWS CDKに馴染みが無い方でも、最初のセットアップさえ出来れば、Claudeを活用しながら、どなたでもAWS CDKをご活用頂けるのではと考えております。 技術要素の紹介 Claude 3 2024年3月4日に発表されたAnthropic社の最新
はじめに この記事はDevOps on AWS大全の一部です。 DevOps on AWS大全の一覧はこちら。 この記事ではAWS Lambdaを耐障害性の観点から超詳細解説しています。 具体的には以下流れで説明します。 AWS Lambdaをリリースするときのダウンタイム AWS Lambdaのスケーラビリティ AWS Lambdaの永続ストレージ AWSの区分でいう「Level 200：トピックの入門知識を持っていることを前提に、ベストプラクティス、サービス機能を解説するレベル」の内容です。 この記事を読んでほしい人 AWS Lambdaを採用するときのベストプラクティスを説明できるようになりたい人 AWS Lambdaの耐障害性に不安を感じている人 AWS Certified DevOps Engineer Professionalを目指している人 AWS Lambdaをリリースする
React + API Gateway + Lambda + DynamoDB で動画の再生回数を取得する仕組みを作ってみた | DevelopersIO
まず、DynamoDB のテーブルを 2つ作成します。 ViewCount 動画の再生回数を格納するテーブル プライマリキー ... video_name（ビデオ名） RequestHistory 同一 IP からリロードを繰り返された際にいたずらに再生回数がカウントされる事を防ぐ為の情報を格納するテーブル プライマリキー ... video_name（ビデオ名） ソートキー ... ip_address（IP アドレス） 以下のソースコードを実装しました。ランタイムは Python3.8 です。 処理失敗時のロールバック等は実装していませんので、あくまで参考程度にご利用ください。 「TABLENAME_COUNT」、「TABLENAME_HISTORY」には作成した DynamoDB のテーブル名をそれぞれ指定ください。 import os import boto3 from boto3
AWS CDKにLambda関数を数秒でデプロイするhotswap deployments機能が追加されました
はじめに おはようございます、加藤です。AWS CDKのv1.122.0からhotswap deploymentsという機能が追加されました。 通常cdk deployを実行するとCloudFormationをデプロイしますが、このオプションがONの場合はそうせずにSDKでLambda関数をデプロイします。これによってCloudFormationを実行する時間が発生しないため素早くデプロイを行うことができます。 当然この方法によるデプロイを行うとCloudFormationが管理する状態とドリフトが発生してしまいます。この機能は開発環境で素早くデプロイして動作を確認する為のものであり、本番環境では使用してはいけません。(ドキュメントにも明記されています) hotswap deploymentsは実験的な実装であり今後破壊的な変更が入る可能性があります。 v1.122.0時点でのDocs:
S3 Object Lambda を使って処方箋プレビューに透かしを入れる | MEDLEY Developer Portal
2022-10-28S3 Object Lambda を使って処方箋プレビューに透かしを入れるこんにちは。医療プラットフォーム本部プロダクト開発室エンジニアの中畑です。主にオンライン診療・服薬指導アプリ CLINICS の開発を担当しています。 今回は CLINICS アプリ内で扱う処方箋プレビューに透かし(watermark)を入れた話を紹介したいと思います。なぜ実施したのか、実装方法、パフォーマンスチューニングの 3 本立てでお送りしたいと思います。 課題と解決方針まず、なぜ処方箋プレビューに透かしを入れることにしたのか。 CLINICS では診察後に患者が希望すると、かかりつけ薬局支援システム Pharms を導入している調剤薬局にてオンライン服薬指導を受けることができます。その際に医療機関から処方箋の画像ファイルや PDF をアップロードし、患者は CLINICS アプリを通じて、
MADチームが案件を通して培ってきたテスト方針、テストツール、テスタブルなソフトウェア設計などの話をパネルディスカッション形式で情報共有する「AKIBA.MAD 実践から学ぶ AWS Lambdaのテスト戦略」。ここでクラスメソッド株式会社の新井氏・和田氏・加藤氏・佐藤氏が登壇。最後に、テスト領域について話し合います。前回の記事はこちらから。 Lambdaテスト領域のアンケート新井成一氏（以下、新井）：ありがとうございます。ようやく全部消化できました。さっそく本日の第1回目のトピック、テスト領域の話をしたいと思います。 新井：実は投票を用意していて。ちょっとみなさん回答してもらえればと思います。 和田祐介氏（以下、和田）：「ふだんやっているLambdaのテスト領域は」。 新井：上からユニットテスト、モックやSpyを使ったユニットテスト。FakeやLocalStackを使ったものです。あとは
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay / Implementing SAGA pattern on distributed system with AWS Ste…
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
はじめに おはようございます、加藤です。AWSで本格的なサーバーレス開発を行う際につまづいたり、悩むポイントとしてLambdaのデプロイパッケージをどのような範囲にすべきかということがあります。デプロイパッケージをどうすべきか私の考えをまとめてみました。 何回か出てくるディレクトリ図については、あくまでをイメージを掴んで貰うためのもので、この通りにディレクトリを構成し動くことを保証するものではありません。具体的なAWS CDKを使った構築方法は来月ぐらいにでも別途ブログにする予定です。 デプロイパッケージとは デプロイパッケージは、関数のコードと依存関係を含むZIPアーカイブです。コンパイル言語（Go、Javaなど）の場合はコンパイル済み関数のコードを含む必要があります。非コンパイル言語かつ、デプロイパッケージの容量が3MB以下の場合はマネジメントコンソールでデプロイされた関数コードを確認
AWS CDKとGitHub ActionsでLambdaで動くAPIをTypeScriptで作る - SMARTCAMP Engineer Blog
こんにちは、 https://boxil.jp を作っている徳田(haze_it_ac)です。 先月に今風？な構成のAPIを業務で作ったので、その紹介をしようと思います。 作るもの・要件 雑な図 外部のAPIを叩くためのアプリケーションです。 BOXILのAPIサーバから今回作るAPIを叩き、そこから外のAPIを叩いて情報を取得したり、処理をしたりするものです。 現時点ではBOXILのみで使われていますが、それ以外からも使用されることを予定・想定しているため、BOXILとは別の基盤で作成しどこからでも実行できるように構築する必要があります。 なお、今回のサンプルリポジトリは以下になります。ソースコードと合わせて読んでみてください。 github.com 全体構成 概要 雑な構成図 AWS CDKを中心に据えた、AWS Lambdaで実行されるアプリケーションです。 実行環境 Webアプリケ
こんにちは！LayerXエンジニアの高際 @shun_tak です！ この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので（大歓迎です！）、Amazon SQSとGoの machinery を活用して非同期処理しているよ！ AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ！ では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です！ AWS Lambdaのロギング設定を制御できるようになったというアップデートがあったので、今回試してみます！ 何が嬉しいか 今までCloudWatch Logsに対するLambdaのロギング設定は、以下がデフォルトで固定され、変更できないようになっていました。 ログ形式：Text ログレベル：なし ロググループ名：/aws/lambda/<関数名> ※なおログ形式については、今までもPowertoolsを使用すればJSONに変更可能でした。 上記3点について、今回のアップデートによりLambdaのコンソールまたはAPIを通じて柔軟に設定できるようになりました！ 試してみる それではどのようにログ設定を変更できるようになったか試してみましょう。 公式では以下のブログで使い方が紹介されています。 上記のブログはLambdaのランタイム
![[アップデート]AWS Lambdaでロギング設定を制御できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f047ea142eff06ac03d91ff00ec5d6bf61e4284/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-lambda.png)
【AWS】S3+CloudFrontで静的サイトをホスティング + LambdaでBASIC認証つける - Qiita
何番煎じかわかりませんが備忘録兼ねて… 前回の記事でAmazon ConnectのCCPをカスタマイズしてWebページを作成しました。 Amazon Connect Streamsの仕様により、httpsでホスティングしなければいけないので、 パブリックアクセスを制限したS3にWebページを配置、CloudFrontを経由することでHTTPSによるアクセスを必須とします。 また、ついでにLambdaでBASIC認証を設定します。 ※2020/5/13 追記 紹介している方法ではlambdaのバージョンを発行して、トリガーにcloudfrontを設定する、などやっていますが、 現在はlambdaの「アクション」から「lambda@edgeへのデプロイ」でcloudfrontのトリガー設定などをいっぺんにできます。 実装する順としてはs3→cloudfront→lambdaとすると、コンソール
Lambdaで6MBを超えるデータをReturnできなかったので、S3のPre-Signed URLを使った話 | DevelopersIO
Lambdaで6MBを超えるデータをReturnできなかったので、S3のPre-Signed URLを使った話 IoT機器からセンサーデータを収集しています。 そのセンサーデータをAPI Gateway(+Lambda)で扱おうとしたところ、Lambdaのレスポンス上限6MB(同期実行時)に引っかかりました。 そこで、対策としてS3バケットのPre-Signed URLを使ってみました。 おすすめの方 LambdaでPre-Signed URLを使いたい方 適当なデータを作成する サンプルデータ 下記のようなデータを作成します。 { "aaa": [ [1619600735000, 11.1], [1619600737000, 22.1], [1619600739000, 33.1] ], "bbb": [ [1619600735000, 11.2], [1619600737000, 22
This all started with a blog post back in 2020, from a tech curiosity: what's the fastest way to scale containers on AWS? Is ECS faster than EKS? What about Fargate? Is there a difference between ECS on Fargate and EKS on Fargate? I had to know this to build better architectures for my clients. In 2021, containers got even better, and I was lucky enough to get a preview and present just how fast t
Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 | Amazon Web Services
AWS News Blog Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 March 15, 2023 – You can now use S3 Object Lambda with Amazon CloudFront to tailor content for end users. August 13, 2024 – Added a note clarifying that, when following the walkthrough, you should not mark the Specify Lambda function version option that was added after this post was p
はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報（今回の話に関係ある部分のみ）は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。
LocalStackを用いてローカル開発のシークレット管理をセキュアにする - LayerX エンジニアブログ
この記事は、6月から始まっている #LXベッテク月間 33日目の記事です。 前日の記事はtaikyyさんの「LayerXのQAは顧客に届ける価値を最大化したい」でした。 note.com ちょりす。CTO室およびFintech事業部で色々やってる @ken5scal です。 本日はアプリ開発をローカルで行うためのSecrets管理のTipsを一部、書きたいと思います。 ぱっとアプリを書いて、さくっとコンテナイメージをビルドし、しゅっとAWS上にデリバリしたいことがありませんか？ 当社では、そういった場合にAWS App Runnerを活用することがあります。 PoCなど初期段階のものをインフラレイヤーのことを意識したくないときに重宝しています。 しかし、AWSのロードマップにもある通り、ECSでできるようなVauleサービスであるAWS.Secrets Managerとの連携ができません。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon S3 Object Lambdaが提供開始、S3から取得するデータの処理が可能に
サーバーレスのウェブアプリケーションを構築３ バックエンドの構築 | DevelopersIO
SREエンジニアがヘルプデスク体制を作ってみた話 - ぐるなびをちょっと良くするエンジニアブログ
AWS Lambdaの汎用的なエラー通知を実現するLapperというツールをつくりました
[アップデート]AWS Lambdaでストリーミングな応答が可能になりました | DevelopersIO
10倍スパイクの速報時に耐えうるAPIのスケーリングの仕組み - Gunosy Tech Blog
AWS SAM CLIを使ったLambdaのローカル実行と簡単デプロイ - BASEプロダクトチームブログ
Introducing AWS Lambda Extensions | Amazon Web Services
AWSでアクセスキーが漏洩した時に検知・削除する仕組みを実装する - Qiita
AWS LambdaでSlackアプリを動かす - cockscomblog?
Claude 3とAWS CDKを使い爆速でAWSの検証が出来る環境を手に入れよう！ - Qiita
AWS Lambdaの耐障害性を考える - Qiita
AWSは実環境で得られる効果が大きい アンケートから見るLambdaのテスト領域の傾向 | ログミーBusiness
PayPalがGraphQLを採用し、開発者の生産性向上を実現
AWS Lambdaのデプロイパッケージをどの範囲で構築すべきか | DevelopersIO
AI-OCRを支える非同期処理アーキテクチャ - LayerX エンジニアブログ
Scaling containers on AWS in 2022
Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
saipon.jp
www-gauge.scphys.kyoto-u.ac.jp
news.yahoo.co.jp
agri.mynavi.jp
day-mitama777.hatenablog.jp
news.livedoor.com