AWS Lambdaの高速なコンテナロードの仕組み | CyberAgent Developers Blog
CTO統括室の黒崎(@kuro_m88)です。今回はAWS Lambdaの高速なコンテナロードの仕組みについて紹介します。 AWS Lambdaはサーバレスなマネージドサービスであり、難しいことを知らなくてもユーザ(私たち)は簡単にアプリケーションをホストでき、簡単にスケールします。 ユーザから見るとシンプルですが、その裏側では様々な仕組みがあったり最適化が行われたりしています。 マネージドサービスの裏側を必ずしも知る必要はありませんが、仕組みを知っておくとより使いこなせるはずですし、自信を持って技術選定ができるはずです。(そして何より裏側を知ることは楽しい！🤗) 本記事はUSENIX ATC 2023で発表された論文「On-demand Container Loading in AWS Lambda」の内容に基づいて、読んでいて面白かったポイントをまとめています。 On-demand
AWS Lambdaによる進化的アーキテクチャの構築 | Amazon Web Services
Amazon Web Services ブログ AWS Lambdaによる進化的アーキテクチャの構築 この投稿は、メディアとエンターテインメントのプリンシパルソリューションアーキテクトであるLuca Mezzaliraによって書かれました。 俊敏性により、必要に応じてワークロードを迅速に進化させ、新機能を追加したり、新しいインフラストラクチャを導入したりできます。コードベースでアジリティを実現するための主な特徴は、疎結合コンポーネントと強力なカプセル化です。 疎結合は、テストカバレッジを改善し、一貫したリファクタリングを作成するのに役立ちます。カプセル化を使用すると、実装ロジックを明らかにすることなく、サービスとのやり取りに必要なものだけを公開できます。 進化的なアーキテクチャは、設計の俊敏性を実現するのに役立ちます。「進化的アーキテクチャの構築」という本の中で、このアーキテクチャは「複数
AWS Lambdaの裏側をなるだけ詳しく解説してみる - Sweet Escape
AWS Lambdaの環境がどのようになっているか、ユーザが用意したLambdaファンクションがどんな感じで実行されるかってあたりを可能な限り詳しく説明したいと思います。 はじめに 大前提 コールドスタート/ウォームスタート コントロールプレーン/データプレーン アイソレーション AWS Lambdaのコンポーネント群 同期実行かつ初回呼び出し（コールドスタート）、もしくはスケーリング 同期実行かつ再利用（ウォームスタート） 非同期実行 スケールアップ エラーハンドリング リトライ その他 ネットワーク まとめ はじめに この投稿は2020年9月29日の21時から開催予定のイベント（ライブストリーミング）で話す内容です。 serverless-newworld.connpass.com もし間に合えば、かつ時間があればぜひライブ配信のほうにも参加ください。 （2020.09.30 upda
AWS Lambdaのアプリケーション作成を使ってCI/CDパイプラインを一気に構築 - Qiita
AWS Lambdaのアプリケーション作成とは AWS Lambdaのアプリケーション作成機能を利用してLambda関数を作成すると、Lambda関数自体の他に Lambda関数のソースコード等を管理するGitリポジトリとしてCodeCommit CodeCommitのmasterブランチの更新を契機にLambda関数へのデプロイを行うCodePipeline 等々、CI/CDパイプライン実現のためのAWSリソースが同時に作成されます。 Lambda関数自体は手軽に作ったものの、次のステップとしてCI/CD環境を構築するのは腰が重く、ソースの更新はマネジメントコンソール上で実施している・・・といったケースを改善するアプローチとして、このようなCI/CD環境をセットで構築する機能がリリースされたそうです。 Lambdaのマネジメントコンソール画面では、これらAWSリソースをアプリケーションと
Lambda Custom Runtimes上でbashを対話的に操作してその内部仕様を丸裸にする - misc.tech.notes
この記事は AWS Lambda Custom Runtimes芸人 Advent Calendar 2018 の19日目です。 qiita.com これは何？ 「Lambdaの中に入ってみたいと思ったことはありませんか？」これはそんな歪んだ願望を叶える試みです。と同時にそれを足がかりにAWS Lambdaというシステムをより深く理解するための検証とその結果を記したものです。 ちなみに毎年恒例？のLambdaのリバースエンジニアリング(?)シリーズです。 2016年 marcy.hatenablog.com 2017年 marcy.hatenablog.com Lambda Custom Runtimesとは Lambda Custom Runtimesは一般的にはAWS Lambdaが公式に対応していないプログラミング言語のRuntimeを動かすための機能です。仕様は以下の通り。 doc
Amazon Aurora のスロークエリを Slack に通知する - enomotodev’s blog
スロークエリを簡単に確認できるようにしたかったので、Lambda を使って Aurora でスロークエリが発生するたびに Slack に通知するようにしてみました。 ログのエクスポート設定 まずは、クラスターの変更から Amazon CloudWatch Logs にスロークエリログを発行するようにします。 パラメータグループを編集 デフォルトのパラメータグループでは slow_query_log が OFF になっており、スロークエリが出力されないようになっているので、パラメータグループを編集して slow_query_log を 1 にして有効にしましょう。 ついでにデフォルトでは long_query_time が 10 になっており、10 秒以上のクエリではないとスロークエリに出力されないので、long_query_time も 1 など小さい数値に変更します。 IAM ロールの作
AWSサーバーレスアーキテクチャでハマった３つこと | LINKBAL Blog
リンクバル技術部の川畑です。先日弊社でリリースしました、リアルタイム飲み会マッチングアプリ together の裏側のアーキテクチャについて、ANKEY主催のセミナー クラウドヂカラ #AWSセミナー 〜エンジニアに求められる本当のスキルとは〜 のLT枠で発表させて頂きましたので、その内容を紹介させて頂きます。 togetherの仕組み IoTボタンを飲食店においていただき、そのお店で飲食をしているお客様にボタンを押していただくと、togetherアプリをダウンロードしている方々に通知が届きます。その通知に申し込んでお店に足を運んでいただき、合流して飲み会を楽しんでいただくアプリとなります。 togetherシステム構成 IoTボタンとtogetherアプリからインターネット・クラウド経由でサーバー側と通信をします。サーバー側はAWSで構成されており API Gateway でリクエストを
AWS Lambda Adds Amazon Simple Queue Service to Supported Event Sources | Amazon Web Services
AWS News Blog AWS Lambda Adds Amazon Simple Queue Service to Supported Event Sources We can now use Amazon Simple Queue Service (Amazon SQS) to trigger AWS Lambda functions! This is a stellar update with some key functionality that I’ve personally been looking forward to for more than 4 years. I know our customers are excited to take it for a spin so feel free to skip to the walk through section b
サーバーレスがアプリケーションにもたらす本当のメリットとは？「サーバーレスのポテンシャルとシステム表現」#devsumi ｜ Developers.IO
サーバーレスがアプリケーションにもたらす本当のメリットとは？「サーバーレスのポテンシャルとシステム表現」 #devsumi 「そのサーバーレス、本当に意味あるの？」 AWS re:Invent 2014で、AWS Lambdaが発表されてから丸3年が経過。サーバーレスという単語もすっかりこの界隈では定着した感はあります。 ですが、実際の開発・運用ノウハウについては、まだまだ試行錯誤が続いているのが現状じゃないでしょうか。ぶっちゃけ、既存アプリケーションのEC2をLambdaに置き換えるだけではほとんどメリット無いでしょ、という感触は、ある程度サーバーレスアプリケーションをゴリゴリ作っている人であれば、よく感じていることだと思います。 そんななか今回受講したこのデブサミのセッションでは、新しい観点でサーバーレスがもたらす恩恵やメリットを捉えることができてごっつ新鮮だったので、その模様をお届け
“Web Componentsだけ” で新サービスを実装して見えたこと - Qiita
Double O というサービスを作りました。 フロントエンドはピュアな Web Components を採用していて、バックエンドは Lambda と DynamoDB のみで構成しました。 (厳密には CloudFront とか API Gateway とかもあるけどそこは省いていいよね？) REST API 以外の Util 系の Lambda 関数はすべて AWS Cloud9 で管理することで環境構築も不要な Lambda ができて楽でした。 TL;DR サーバーレスについてはごく普通のことしかしていないので、詳しくは触れないでおきます。 ピュアな Web Components だけでサービスを成立させることができた。 HTMLElement クラスを継承するだけなのでメジャーライブラリは不要になった。 Web Components の Custom Elements は標準仕様
Amazon CloudFrontとAWS Lambda@EdgeでSPAのBasic認証をやってみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 特定のユーザにしかログインできないように、 サイト自体にBasic認証をかけたい時があると思います。 今回はS3でホスティングするSPAを想定して、 Amazon CloudFrontとAWS Lambda@Edgeを使ってBasic認証をかけたいと思います。 構成図 完成画面 完成後下記のような挙動になります。 ブラウザ上にURLを入力してアクセスすると、Basic認証の画面が表示されます。 認証が通ったら、S3に保存されているWEBページが表示されます。 作業手順 S3でSPA用のバケット作成 CloudFrontのディストリビューションを作成 Lambda@Edge用のLambda関数作成 作成したLambda関数でトリガーをCloudFrontに設定 S3での作業 SPAの静的ファイルを設置するためにバケットを作成します。 リージョンは「東京リ
AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor
これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo
【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ | DevelopersIO
【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「データ変換機能」です。所謂ETL(Extract、Transform、Load）処理と言われるもので、流れてくるデータを使いやすい形に加工した上で対象となるデータベースやデータレイクに書き出すものです。 例えばApacheのログデータをS3に蓄積しておいて、後ほど分析に使いたいとします。Apacheのログってこんな感じですよね。 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0
Configuring an AWS Lambda Function to Access Both Resources in Public Internet and an Amazon VPC - HDE BLOG
Hello, this is Bagus from HDE, Inc. This post is a summary of my presentation on HDE's 21st Monthly Technical Session. Recently, I’ve been working more with AWS Lambda. There was a time when I created a Lambda function which accesses both resources in public internet and an Amazon VPC. I learned quite a lot from it, so I'd like to share the experience. Our Case Please create a Lambda function whic
【全世界待望】Public AccessのRDSへIAM認証(+ SSL)で安全にLambda Pythonから接続する – サーバーワークスエンジニアブログ
こんにちは。てるい@さっぽろです。 先日、Serverlessおじさん担当なるものに任命されました。かねてからトイレIoTの元祖として名を馳せ、イケてるIoT事例を連発しているIoTお兄さん担当に負けないよう頑張っていきたいと思います。 さて、先日(2017.04.25)に全世界待望のRDSへのIAM認証(IAM Database Authentication)がリリースされました。リリース時にはSDKのIAM認証を行うための署名を作る機能が後追いとなっており試すに試せない状況でしたが、今朝(2017.04.27)ついにIAM認証に対応した新バージョンのSDKがリリースされたので、さっそく検証してみようと思います。 全世界待望？ 「LambdaからRDSに繋ぎたいと思ったことはありませんか？」 全世界はかなり言い過ぎですが、ある程度の規模の開発をServerless(API Gateway
AWS Lambdaにおける「ステートレス」なキャッシュ利用 - エンタープライズギークス (Enterprise Geeks)
AWS Lambda は、AWSが提供するイベントドリブンなプログラム実行環境であり、昨今ではサーバーレスアーキテクチャの実現手段として注目を集めている。 AWSの公式ドキュメントによると、AWS Lambda の関数はステートレスな実装にする必要がある。一方でステートレスな実装を追求すると、外部サーバからのデータ取得処理が増え、結果として処理パフォーマンスが悪化することが多い。 本稿では、データの性質に応じたAWS Lambda での状態保持（キャッシュ利用）の可否について考察し、キャッシュに関する実装や運用の一例を示す。 1. Lambda 関数に求められる「ステートレス」の意味 AWSの公式ドキュメンテーションによると、AWS Lambdaの関数は、ステートレスな実装にする必要がある。 コードは必ず「ステートレス」なスタイルで書く必要があります。 ～中略～ 関数をステートレスにするこ
LINE Messaging API と AWS Lambda で LINE BOT を作ってみた
手段「これってもしかして」 目的「私たち」 「「入れ替わってる〜〜〜〜？」」 — みすま (@msmt9) 2016年9月22日 これ、ほんとよく入れ替わりますよね。入れ替わらなくなる気配がありません。今回も（手段と目的が）バッチリ入れ替わってます。 AWS の Lambda を使ってみたいがために LINE の Bot を作ってみたんですね。といってもまずは、はろーわーるどです。後半では対話可能な Bot も作ってみたので、その具体的な方法を記載しておきます。 （※ちなみに上記Twitterは私のアカウントではありません。） クラウド界隈では近頃、サーバレスアーキテクチャ という話題がちょくちょくありまして、乱暴に言うならば「馬鹿みたいにEC2を立てるのはやめて、お安く賢くビジネスに集中しようぜ」という話のようです。とはいえ、本当の意味での「サーバレス」ではなくて、要するに自前で保守しな
Lambda + Apex 事例紹介 ~ 全ては AWS コスト削減のために ~ - kakakakakku blog
今日は社内の別プロダクトと合同勉強会があって，Lambda + Apex 便利だよ！という発表をしてきた． タイトルは「Lambda + Apex 事例紹介 ~ 全ては AWS コスト削減のために ~」で，発表内容としては，大きく3点にフォーカスした． CloudWatch Events + Lambda + CircleCI + Apex で Lambda をサーバレスに実行 & デプロイする話 Apex で Golang with Lambda を動かす仕組みとは AWS 便利ツールの紹介 メインは Lambda + Apex の話で，前に書いた記事をベースにした． kakakakakku.hatenablog.com 発表資料 speakerdeck.com Golang with Lambda Apex の珍しい点を挙げるとすると「Lambda で Golang を動かせる」ことだ
サーバーレス・アーキテクチャで構築したシステムの運用はどうやるのか？ | iret.media
2016年12月20日からスタートしたMBS（毎日放送）の有料動画配信サービス『MBS動画イズム444』にて、サーバーレス・アーキテクチャ（AWS Lambda）が全面採用されたという事例は、世界を見渡しても類をみない、大変優れた設計であると話題になりました。 でもね、重要なことは「AWS Lambdaを使って構築した」ことではないんです！ 『MBS動画イズム444』は、次々と新しい動画コンテンツが増えていますし、有料会員も猛スピードで増えていると伺っています。そうなると、このサービスの安定運用こそが、もっとも重要なことなのです。 そこで、この記事では「AWS Lambda」で構成されるシステムの運用をcloudpackならこうやります！というのをご紹介いたします。 サーバーレス・アーキテクチャのシステム運用はどう考えるべきか？ 『MBS動画イズム444』のシステム構成は、実に複雑です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS サーバーレスナビゲートプログラム
