AWS Lambdaの高速なコンテナロードの仕組み | CyberAgent Developers Blog
CTO統括室の黒崎(@kuro_m88)です。今回はAWS Lambdaの高速なコンテナロードの仕組みについて紹介します。 AWS Lambdaはサーバレスなマネージドサービスであり、難しいことを知らなくてもユーザ(私たち)は簡単にアプリケーションをホストでき、簡単にスケールします。 ユーザから見るとシンプルですが、その裏側では様々な仕組みがあったり最適化が行われたりしています。 マネージドサービスの裏側を必ずしも知る必要はありませんが、仕組みを知っておくとより使いこなせるはずですし、自信を持って技術選定ができるはずです。(そして何より裏側を知ることは楽しい！🤗) 本記事はUSENIX ATC 2023で発表された論文「On-demand Container Loading in AWS Lambda」の内容に基づいて、読んでいて面白かったポイントをまとめています。 On-demand
AWS Lambdaによる進化的アーキテクチャの構築 | Amazon Web Services
Amazon Web Services ブログ AWS Lambdaによる進化的アーキテクチャの構築 この投稿は、メディアとエンターテインメントのプリンシパルソリューションアーキテクトであるLuca Mezzaliraによって書かれました。 俊敏性により、必要に応じてワークロードを迅速に進化させ、新機能を追加したり、新しいインフラストラクチャを導入したりできます。コードベースでアジリティを実現するための主な特徴は、疎結合コンポーネントと強力なカプセル化です。 疎結合は、テストカバレッジを改善し、一貫したリファクタリングを作成するのに役立ちます。カプセル化を使用すると、実装ロジックを明らかにすることなく、サービスとのやり取りに必要なものだけを公開できます。 進化的なアーキテクチャは、設計の俊敏性を実現するのに役立ちます。「進化的アーキテクチャの構築」という本の中で、このアーキテクチャは「複数
AWS Lambdaの裏側をなるだけ詳しく解説してみる - Sweet Escape
AWS Lambdaの環境がどのようになっているか、ユーザが用意したLambdaファンクションがどんな感じで実行されるかってあたりを可能な限り詳しく説明したいと思います。 はじめに 大前提 コールドスタート/ウォームスタート コントロールプレーン/データプレーン アイソレーション AWS Lambdaのコンポーネント群 同期実行かつ初回呼び出し（コールドスタート）、もしくはスケーリング 同期実行かつ再利用（ウォームスタート） 非同期実行 スケールアップ エラーハンドリング リトライ その他 ネットワーク まとめ はじめに この投稿は2020年9月29日の21時から開催予定のイベント（ライブストリーミング）で話す内容です。 serverless-newworld.connpass.com もし間に合えば、かつ時間があればぜひライブ配信のほうにも参加ください。 （2020.09.30 upda
Lambda Custom Runtimes上でbashを対話的に操作してその内部仕様を丸裸にする - misc.tech.notes
この記事は AWS Lambda Custom Runtimes芸人 Advent Calendar 2018 の19日目です。 qiita.com これは何？ 「Lambdaの中に入ってみたいと思ったことはありませんか？」これはそんな歪んだ願望を叶える試みです。と同時にそれを足がかりにAWS Lambdaというシステムをより深く理解するための検証とその結果を記したものです。 ちなみに毎年恒例？のLambdaのリバースエンジニアリング(?)シリーズです。 2016年 marcy.hatenablog.com 2017年 marcy.hatenablog.com Lambda Custom Runtimesとは Lambda Custom Runtimesは一般的にはAWS Lambdaが公式に対応していないプログラミング言語のRuntimeを動かすための機能です。仕様は以下の通り。 doc
Amazon Aurora のスロークエリを Slack に通知する - enomotodev’s blog
スロークエリを簡単に確認できるようにしたかったので、Lambda を使って Aurora でスロークエリが発生するたびに Slack に通知するようにしてみました。 ログのエクスポート設定 まずは、クラスターの変更から Amazon CloudWatch Logs にスロークエリログを発行するようにします。 パラメータグループを編集 デフォルトのパラメータグループでは slow_query_log が OFF になっており、スロークエリが出力されないようになっているので、パラメータグループを編集して slow_query_log を 1 にして有効にしましょう。 ついでにデフォルトでは long_query_time が 10 になっており、10 秒以上のクエリではないとスロークエリに出力されないので、long_query_time も 1 など小さい数値に変更します。 IAM ロールの作
AWSサーバーレスアーキテクチャでハマった３つこと | LINKBAL Blog
リンクバル技術部の川畑です。先日弊社でリリースしました、リアルタイム飲み会マッチングアプリ together の裏側のアーキテクチャについて、ANKEY主催のセミナー クラウドヂカラ #AWSセミナー 〜エンジニアに求められる本当のスキルとは〜 のLT枠で発表させて頂きましたので、その内容を紹介させて頂きます。 togetherの仕組み IoTボタンを飲食店においていただき、そのお店で飲食をしているお客様にボタンを押していただくと、togetherアプリをダウンロードしている方々に通知が届きます。その通知に申し込んでお店に足を運んでいただき、合流して飲み会を楽しんでいただくアプリとなります。 togetherシステム構成 IoTボタンとtogetherアプリからインターネット・クラウド経由でサーバー側と通信をします。サーバー側はAWSで構成されており API Gateway でリクエストを
Amazon CloudFrontとAWS Lambda@EdgeでSPAのBasic認証をやってみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 特定のユーザにしかログインできないように、 サイト自体にBasic認証をかけたい時があると思います。 今回はS3でホスティングするSPAを想定して、 Amazon CloudFrontとAWS Lambda@Edgeを使ってBasic認証をかけたいと思います。 構成図 完成画面 完成後下記のような挙動になります。 ブラウザ上にURLを入力してアクセスすると、Basic認証の画面が表示されます。 認証が通ったら、S3に保存されているWEBページが表示されます。 作業手順 S3でSPA用のバケット作成 CloudFrontのディストリビューションを作成 Lambda@Edge用のLambda関数作成 作成したLambda関数でトリガーをCloudFrontに設定 S3での作業 SPAの静的ファイルを設置するためにバケットを作成します。 リージョンは「東京リ
AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor
これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo
【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ | DevelopersIO
【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「データ変換機能」です。所謂ETL(Extract、Transform、Load）処理と言われるもので、流れてくるデータを使いやすい形に加工した上で対象となるデータベースやデータレイクに書き出すものです。 例えばApacheのログデータをS3に蓄積しておいて、後ほど分析に使いたいとします。Apacheのログってこんな感じですよね。 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0
Configuring an AWS Lambda Function to Access Both Resources in Public Internet and an Amazon VPC - HDE BLOG
Hello, this is Bagus from HDE, Inc. This post is a summary of my presentation on HDE's 21st Monthly Technical Session. Recently, I’ve been working more with AWS Lambda. There was a time when I created a Lambda function which accesses both resources in public internet and an Amazon VPC. I learned quite a lot from it, so I'd like to share the experience. Our Case Please create a Lambda function whic
【全世界待望】Public AccessのRDSへIAM認証(+ SSL)で安全にLambda Pythonから接続する – サーバーワークスエンジニアブログ
こんにちは。てるい@さっぽろです。 先日、Serverlessおじさん担当なるものに任命されました。かねてからトイレIoTの元祖として名を馳せ、イケてるIoT事例を連発しているIoTお兄さん担当に負けないよう頑張っていきたいと思います。 さて、先日(2017.04.25)に全世界待望のRDSへのIAM認証(IAM Database Authentication)がリリースされました。リリース時にはSDKのIAM認証を行うための署名を作る機能が後追いとなっており試すに試せない状況でしたが、今朝(2017.04.27)ついにIAM認証に対応した新バージョンのSDKがリリースされたので、さっそく検証してみようと思います。 全世界待望？ 「LambdaからRDSに繋ぎたいと思ったことはありませんか？」 全世界はかなり言い過ぎですが、ある程度の規模の開発をServerless(API Gateway
サーバーレス・アーキテクチャで構築したシステムの運用はどうやるのか？ | iret.media
2016年12月20日からスタートしたMBS（毎日放送）の有料動画配信サービス『MBS動画イズム444』にて、サーバーレス・アーキテクチャ（AWS Lambda）が全面採用されたという事例は、世界を見渡しても類をみない、大変優れた設計であると話題になりました。 でもね、重要なことは「AWS Lambdaを使って構築した」ことではないんです！ 『MBS動画イズム444』は、次々と新しい動画コンテンツが増えていますし、有料会員も猛スピードで増えていると伺っています。そうなると、このサービスの安定運用こそが、もっとも重要なことなのです。 そこで、この記事では「AWS Lambda」で構成されるシステムの運用をcloudpackならこうやります！というのをご紹介いたします。 サーバーレス・アーキテクチャのシステム運用はどう考えるべきか？ 『MBS動画イズム444』のシステム構成は、実に複雑です。
.NET Core on AWS Lambda がリリースされました - tech.guitarrapc.cóm
今年は非常にうれしいことが Azure と AWS 両方でありました。Azure Functions と .NET Core on AWS Lambda です。 これまで多くの AWS Lambda関数 (Node.js) と Azure Functions (C#) を書いてきましたがこれでようやく AWS Lambda に完全に寄せることができます。 早速 AWS Lambda で C# (.NET Core) を触ってみましょう。 目次 目次 Lambda 上は Java と同じく dll をアップロード C# (.NET Core) でコードを書いてみる .NET Core 環境を用意する Visual Studio Integration BluePrint の選択 もしも project.json のパッケージ復元でエラーが生じる場合 サンプルコードの記述 アップロード 実行
サーバーレスな事例が次々登場―ServerlessConf Tokyo 2016レポート
クラウド分野で注目されているキーワード「サーバーレス」をテーマにしたイベント「ServerlessConf Tokyo」が都内で開催された。9月30日にワークショップが、10月1日にカンファレンスが開かれた。 「サーバーレス」の明確な定義は決まっていないが、おおよそは、アプリケーションを動かすプラットフォームをアプリケーション開発運用側が持たず、サービス側に任せる方式を指す。特に、AWS Lambdaのように、コードだけを用意しておき、APIリクエストやデータ追加などをトリガーとしてサーバー環境に割り当てて実行する、FaaS（Function as a Service）とも呼ばれる“泥縄”的なアーキテクチャについて言われることが多い。 「ServerlessConf」は2016年にニューヨークで始まり、その後ロンドンでも開かれた。日本での開催はそれに続くものとなる。主催したSection-
AWS Lambdaの処理性能を言語毎に測ってみた - Taste of Tech Topics
こんにちは、@kojiisdです。 この間AWS Summit Tokyoに参加してきたのですが、皆一様に「AWS Lambda」を、 これからのサーバレスアーキテクチャを支える技術として紹介していましたね。 資料でも言葉でも多分に見聞きしており、軽いゲシュタルト崩壊を起こしている今日この頃、 皆さんはいかがお過ごしでしょうか。 さて、今回はAWS Lambdaです。 AWS Lambdaの処理はJavaやNode.js、Pythonなどの言語で記述することができますが、その性能差がどの程度あるのか？測ってみました。 構成 今回の構成は次の様なシンプルなものにしています。 [計測対象（言語）] Python Node.js Java [計測対象（カテゴリ）] 処理速度 使用メモリ [Lambdaでの処理内容] API Gatewayでリクエストを受け付け Lambda内でDynamoDBか
Lambda+GItHub+Travis CIで全自動サーバーレスAPI
2016/06/11のフロントエンドカンファレンスのLTで発表した資料です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
