Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
Amazon Web Services ブログ New – Lambda SnapStart で Lambda 関数を高速化 お客様が AWS Lambda を気に入っている理由はさまざまです。開発面では、シンプルなプログラミングモデルと、その機能が他の AWS サービスを簡単に利用できることが高く評価されています。運用面では、変化する使用パターンに迅速に対応できる強力なアプリケーションを構築できるというメリットがあります。 すでに Lambda を使用している方ならご存知かもしれませんが、関数は安全で隔離された実行環境内で実行されます。環境の各ライフサイクルは、初期化、起動、シャットダウンの 3 つの主要フェーズで構成されています。とりわけ、 Init フェーズは関数のランタイムをブートストラップし、関数の静的コードを実行します。多くの場合、これらの操作はミリ秒以内に完了し、フェーズがそ
Since the release of AWS Lambda, and later Serverless Framework, serverless technologies have radically simplified application development and operations. 6 years later, Serverless Framework is used by 90% of organizations that have gone serverless. Today, we are very excited to announce the availability of Serverless Framework v3 beta! The 3.0 release, planned for Q1 2022, includes a cleaner and
AWS Compute Blog Ruby 3.2 runtime now available in AWS Lambda This post is written by Praveen Koorse, Senior Solutions Architect, AWS. AWS Lambda now supports Ruby 3.2 runtime. With this release, Ruby developers can now take advantage of new features and improvements introduced in Ruby 3 when creating serverless applications on Lambda. Use this runtime today by specifying the runtime parameter of
Serverless Frameworkのserverless-layersプラグインを使って超お手軽にnode_modulesをAWS Lambda Layers化する Serverless Frameworkで手軽にLambda Layersを扱えないかなということで探していたところ、serverless-layersというプラグインを見つけました。このプラグインを利用することで、依存モジュールを簡単にLambda Layersとしてデプロイできます。 こんにちは。サービスグループの武田です。 AWS Lambdaを使ってサーバーレスなアプリケーションを開発する際に、Serverless Frameworkが非常に便利で重宝しています。 さてLambdaをNodeで開発する場合、依存モジュール(node_modules)の扱いにはいくつか選択肢があります。その中で、現在ではLambda
コンバンハ、千葉(幸)です。 DynamoDB テーブルの中身を S3 バケットにエクスポートしたい、という場合があるかと思います。S3 にエクスポートしたものに対して、例えば Athena を利用して解析をかけたい、といったケースです。 AWS Glue や AWS Step Functions を利用して、定期的にエクスポートを行う仕組みについて以下のブログで紹介されているので、試してみました。 CloudFormation テンプレートや スクリプトが用意されているので、一通り流すだけでできます。 全体像としては以下のイメージです。 Data Pipeline, EMR, Glue の比較 Step Functions の Glue Workflow への置き換え Glue ETL スクリプトの 各種バージョン Glue ETL スクリプトのDynamoDB 読み取り並列度 目次 D
ネットワークサービス部の松田です。 10/21-22 の 2 日間で開催された ServerlessDays Tokyo 2019 の初日に行われたコンテスト形式のワークショップに参加したので、その様子や自身の振り返りをご紹介します。 Workshop Day ワークショップ会場は DMM.com さんの六本木オフィスで、4 つのセッションが用意されていました。一部写真を交えてご紹介します。 AWS公式セッション (AWS Presents, Battle against Massive Load using Your Super Sonic Lambda Function!) -- AWS Lambda を使ったコンテストなのですが、「大量に投入されるイングレスロードを、いかに高速、かつ効率よく捌くかを参加者間で競うコンペティションスタイル」とのことで、なにやらとても AWS の気合を感
こんにちは。最近NuPhy Air75 V2を衝動買いしたのですが、届いた直後にNuPhy Air60 V2が発売され、購入したい衝動を抑えるのに必死な@civitaspoです。バクラク事業部Platform Engineering部DevOpsグループとバクラク事業部Data &ML部Dataグループに所属しています。 この記事は、LayerXテックアドカレ2023の7日目の記事です。 昨日は@yuya-takeyamaが「Microsoft Graph API へのキーレス認証 (GitHub Actions編)」を書いてくれました。 次回はサクちゃんさんがエモい記事を書いてくれそうです。 2023年9月26日にDynamoDBがIncremental Exportをサポートしました。このIncremental Exportは「直近35日以内における特定期間の変更をChange Dat
Amazon Web Services ブログ Amazon CloudWatch ServiceLens を使用して高度に分散化されたアプリケーションを視覚化して監視する 数千のメトリックとテラバイトのログをもつ、ますます分散するアプリケーションは、視覚化と監視が課題になる場合があります。アプリケーションとその依存関係のエンドツーエンドのインサイトを得て、パフォーマンスのボトルネック、運用上の問題、顧客への影響を迅速に特定できるようにするためには、多くの場合、それぞれ情報の特定のファセットを提示する複数の専用ツールを使用する必要があります。これは代わりに、データの取り込みがより複雑になり、さまざまなインサイトを手作業でつなぎ合わせて、全体的なパフォーマンスを判別し、複数のソリューションを維持するコストが増加します。 本日発表された Amazon CloudWatch ServiceLen
fast Powered by Svelte and Vite, speed is baked into every crevice: fast setup, fast dev, fast builds, fast page loads, fast navigation. Did we mention it's fast? fun No more wasted days figuring out bundler configuration, routing, SSR, CSP, TypeScript, deployment settings and all the other boring stuff. Code with joy. flexible SPA? MPA? SSR? SSG? Check. SvelteKit gives you the tools to succeed wh
CX事業本部@大阪の岩田です。2020/5/18付けのアップデートにより、DynamoDBの文字列型/バイナリ型項目に空文字列が登録できるようになりました。 簡単ですが、このアップデートについてご紹介します。 何が変わったの? これまでDynamoDBでは文字列型およびバイナリ型の項目に空文字列を登録することができませんでした。 例えばBoto3を使って以下のようなデータを登録しようとすると、、、 { "id":1 , "attr1": "" } 以下のようなエラーが発生して登録することができませんでした。 One or more parameter values were invalid: An AttributeValue may not contain an empty string そのため、アプリケーションから空文字列を扱いたい場合は一旦空文字列をNULLに変換してからDynam
CX事業本部@大阪の岩田です。 本エントリはAWS re:Invent 2019のセッションSVS404 Networking best practices for serverless applicationsのレポートとなります。 セッション情報 Serverless technologies such as AWS Lambda have removed the burden of server management, but what about networking? When should you put a Lambda in an Amazon VPC? How do you balance security vs. the flexibility offered by Lambda? What are the best practices for working with
こんにちは!DA事業本部の石川です! 本記事はAWS re:Invent 2019のセッション「(ANT307) Athena deep dive」のレポートです。Amazon Athenaの最新機能の紹介になります。 セッション概要 Amazon Athena is an interactive query service that makes it easy to analyze data in Amazon S3 using standard SQL. Athena is serverless, so there is no infrastructure to manage, and you pay only for the queries that you run. Learn how customers are using Athena to query their data l
サーバレス基盤の「Salesforce Evergreen」、セールスフォース・ドットコムが発表。Node.js、Java、Apexで関数を定義可能 米セールスフォース・ドットコムは、サンフランシスコでの年次イベント「Dream Force '19」でサーバレス基盤の「Salesforce Evergreen」を発表しました。 Just in from the #DF19 Developer Keynote: We're introducing Salesforce Evergreen, serverless functions and elastic compute for the #Customer360 Platform. Read more in this blog post by Michael Friis. https://t.co/iMILhdwhej pic.twitter
AWS Compute Blog Introducing AWS Lambda runtime management controls This blog post is written by Jonathan Tuliani, Principal Product Manager. Today, AWS Lambda is announcing runtime management controls which provide more visibility and control over when Lambda applies runtime updates to your functions. Lambda is also changing how it rolls out automatic runtime updates to your functions. Together,
基礎から学ぶ サーバーレス開発 タイトルに「AWS」が入っていませんが、AWSに限定してサーバーレス周りの開発の基礎を一通り解説した本。作者陣はCIerとしても有名なアイレット社の方々。JAWS-UG運営の方もいらっしゃいますね。そういえば2019年のAWS Summitに行った時にcloudpackのノベルティをもらった覚えがあります…… 基礎から学ぶ サーバーレス開発 CHAPTER01 サーバーレスとは CHAPTER02 サーバーレス開発でよく使うサービス CHAPTER03 サーバーレスアプリケーションの構築 CHAPTER04 サーバーレスの運用・監視 CHAPTER05 サーバーレス開発におけるセキュリティ CHAPTER06 サーバーレスの構築例 完全サーバーレスでのWebページ構築事案 APIバックエンドにRDSを用いた事例及び2019年のアップデートについて サーバーレ
AWS サーバーレスアプリケーションデプロイのハードルを下げたい プロダクションでのアプリケーション構築にサーバーレスを採用することも増えてきました。本セッションではサーバーレスアプリケーションのデプロイを考えます。昨今のクラウドアプリに共通して、デプロイのハードルがかなり上がっています。実際の環境、例えばAWSにあげてみないとわからないことが増えてきたためです。 プロダクションデプロイのハードルを下げるアプローチとして、「デプロイ可能な状態を維持する」方針を立ててみました。そして、そのために AWS CDK が寄与することを述べました。さらに、実際にいくつかの実例を交えて、AWS 構成、その際の AWS CDK コードを説明しました。 発表のポイント 一貫した方針は、 開発スタートの最初にデプロイ可能な状態を作ってしまい、それを維持すること です。 サーバーレスでいくかどうか決める こう
Back at my old job in ~2016, we built a cheap homegrown data warehouse via Postgres, SQLite and Lambda.Basically, it worked like this: - All of our data lived in compressed SQLite DBs on S3. - Upon receiving a query, Postgres would use a custom foreign data wrapper we built. - This FDW would forward the query to a web service. - This web service would start one lambda per SQLite file. Each lambda
CloudNativeがここまで進化するとインスタンスの仮想化技術をベースとしたシステムなど使いたくなくなってしまいます。 私は新たにシステムを構築する際、必ずServerless Firstの考え方で設計をしていきます。 その中でAWS Lambda、Amazon DynamoDBを中心にMicroservicesの設計をしていくのですが、 ACIDの部分をどう対処するかが一番悩むところです。 今回はServeice間のTransactionに関する話を自分なりに整理していきたいと思います。 図1 Saga Design Pattern Sagaは複数のサービスにまたがるトランザクションを実装するためのマイクロサービスアーキテクチャパターンです。 複数のマイクロサービス間でデータ一貫性を実現するもので、Sagaには2つのパターンがあります。 1. Choreography-based S
オンデマンドに自動スケールする Amazon Aurora Serverless を採用する機会がありましたので、導入時の参考になりそうなポイントをご紹介します。 まずは結論から Aurora Serverless はワークロードが大きく変動し、要件がシビアでないシステムに対して、オペレーションコストを下げる目的で導入するのが向いています。 割り切ったシンプルさをそのまま受け入れるのが大事であり、減点主義な環境に導入したり、制約をワークアラウンドでがんばって乗り越えようとするのはオススメしません。 「サーバーレス」の意味を正しく理解する 「サーバーレス」という文字が含まれているので、サーバーレス・アーキテクチャーに特化されたデータベース(どのようなDBなのか興味ありますが)という印象を持ちますが、実態は全く異なります。 「サーバーレス」は「クラスターがオンデマンドで自動スケールするのでプロ
Serverless連載6: AWSのStep FunctionsとLambdaでServelessなBatch処理を実現する はじめにAWS StepFunctionsとLambdaを活用してバッチ処理を行う記事です。サーバレス連載企画の6回目です。 2020年はServerlessアーキテクチャが当たり前のように採用される時代になってきていると実感します。フロントエンドからアクセスされるBackendのAPIはAWS環境だと、AppsyncやAPI Gateway+Lambaの利用、IoTなどイベントドリブンなメッセージに対してはAWS IoT、その後続はKinesisを使い、さらにその後続でLambdaやKinesis AnalyticsでETL処理を行い、データストアとしてDynamoDBやS3に格納するといった一連の流れ全てフルマネージドなサービスに寄せて構築することも当たり前で
Amazon Web Services ブログ DynamoDB のスケーリング: パーティション、ホットキー、Split for heat がパフォーマンスに与える影響(第 1 部: ローディング) Amazon DynamoDB の一般的な原則は、高いカーディナリティのパーティションキーを選択することです。しかし、なぜそのようにすべきなのか、そしてそうしなかった場合の影響は何か?お客様のユースケースをもとに、この疑問に深く迫り、異なるパーティションキーの設計とテーブルの設定を使用して DynamoDB のロードおよびクエリのパフォーマンスを調査します。 各実験の後、生成されたパフォーマンスグラフを分析し、私たちが観察したパターンを説明し、繰り返しの改善イテレーションを通じて、DynamoDB の内部構造の基礎を紹介し、パフォーマンスの高いアプリケーションを構築するためのベストプラクティ
Which serverless edge platform has the fastest git deployments? Deploying to the edge is becoming more common, with multiple services that offer serverless edge computing. One of the most important factors is speed of deployment, since context switching and waiting for code to build and deploy can halt momentum, flow state, and developer productivity. So, which serverless edge compute platform han
「注文サービスをサーバーレスで作ってみた」JAWS DAYS 2020登壇資料 #jawsug #jawsdays #jawsdays2020 本記事ではAWS上の分散トランザクションを構築する方法を紹介させて頂きたいと思います。あと、そのトランザクションの結果をストリーミングさせ、クライアントにデータが自動で連携される仕組みについても紹介させて頂きます。最後に、私が作ってみたサービスのフルコードのGithubレポジトリーを共有致します。 本記事は、オンラインで開催された「JAWS DAYS 2020」の登壇記事となります。 はじめに こんにちは、コンサル部のテウです。 去年の年末年始休暇中、マイクロサービスのいろんな実装パターンについて勉強をしましたところ、分散トランザクションのことにすごく興味が出来ました。そもそもトランザクションの意味だけが分かっていたレベルだったのですが、もっと詳し
調査結果まとめ 日本の真ん中あたりから東京リージョンのCloudRunにアクセスしたときのTTFB(Time To First Byte)のざっくり計測結果。詳細は後述。 Cloud Runのデフォルトドメインに直接アクセスした場合: 28msくらい Cloud Runにカスタムドメインをマッピングした場合: 99msくらい さらにCloudflareからCNAMEで指した場合: 114msくらい Cloudflare WorkersでCloud Runのデフォルトドメインをプロキシした場合: 44msくらい Cloud Run + Cloud Load Balancing(CDNなし): 31msくらい Cloud Runの東京リージョンで「カスタムドメインのマッピング」を利用するとレイテンシが発生する 2023年1月現在、Cloud Runのドキュメントの既知の問題には以下の記載があり
2021 年秋より一人目の従業員としてスタートアップ企業、ConorisTechnologies に参画し開発を開始しました。以下は当時の情報をもとに判断した内容となっております。 まず、事業自体の見通しとして市場が存在するかどうかわからないという前提がありました。セキュリティチェックシート支援業務というソリューション自体をお客さまに買っていただけるのかわからない、あるいはビジネスが成立するかは私見としては五分五分というのが率直な思いでした。しかし、CEO の予見として、時間はかかるもののやがては市場に見出されるであろうという可能性についても感じていました。このタイミングでエンジニアとして考えなければいけないことは IT リソースの利用費用です。 特に初期段階でユーザーからさほど利用されていない状況であっても一定の利用費用が常にかかり続けるというコスト構造はスタートアップ企業にとって手痛い
DynamoDBで完全な探索要件の構築を目指さないでください DynamoDBはKVSです。水平軸の検索要件はElasticSearchを使用しましょう。 最も重要なことは、一つのデータベースで全ての機能の実現を目指さないこと アプリケーションの DB 開発において、様々なワークロードに対応したデータベース構築を目指した場合、どうしても DynamoDB だけ、MySQL だけで対応できないことがしばしば有ります。 例えば、オンデマンド動画視聴サービスの視聴ログを Read 集計する要件には縦軸集計に強いグラフ型の RedShift などを採用し、顧客の投稿情報に対する複雑なテキスト検索には ElasticSearch を検討します。 私たちは、多くのアプリケーション開発で DynamoDB を採用してきたメリットを下記のように感じています。 設計次第でスループットを効率的に利用・低レイテ
しばたです。 先日弊社深澤によりえ、そんなに!?意外と知らないAWSでお金がかかるポイント5選!!第二弾という記事が公開されました。 え、そんなに!?意外と知らないAWSでお金がかかるポイント5選!!第二弾 この記事で紹介されている様にNAT Gatewayは非常に便利であるものの地味に費用のかかるサービスでもあり、NAT Gatewayが登場する以前からNAT Instanceを利用されていた方にとっては特に割高に感じてしまうのでは無いかと思います。 本記事ではNAT Gatewayの利用費を抑えるためのTipsを紹介します。 同一リージョンで Amazon S3 または DynamoDB にトラフィックを送信する際のベストプラクティス こちらはNAT Gatewayのユーザーガイドに記載されている通りなのですが、S3やDynamoDBの通信量が多い環境ではVPC Endpoint(Ga
We launched Cloudflare Workers® in 2017 with the goal of building the development platform that we wished we had. We want to enable developers to build great software while Cloudflare manages the overhead of configuring and maintaining the infrastructure. Workers is with you from the first line of code, to the first application, all the way to a globally scaled product. By making our Edge network
This is a guest blog written by Jim Ray, Director of Developer Advocacy at Slack. Seven years ago, we launched the Slack Platform for the first time, inviting developers to bring their favorite tools into Slack, where they’re already working everyday. A lot has changed since then — we’re now in a serverless era, plus developers have more pressure than ever to build fast while also staying nimble i
はじめに こんにちは。ブランドソリューション開発部プロダクト開発チームの木目沢とECプラットフォーム部カート決済チームの半澤です。 弊社では、ZOZOTOWNリプレイスプロジェクトや新サービスで、Amazon DynamoDBを活用することが増えてきました。そこで、AWS様から弊社向けに集中トレーニングという形でDynamoDB Immersion Daysというイベントを開催していただきました。 今回は、2021年7月6日、13日、14日の3日間に渡って開催された当イベントの様子をお伝えします。 7月6日のDay1及び、14日のDay3の様子をDay1のサブスピーカーとして参加した木目沢がお届けします。13日のDay2を同じくDay2にてサブスピーカーとして参加しました半澤がお届けします。 目次 はじめに 目次 Day1(2021年7月6日) Amazon DynamoDB Archit
AWS Lambda now supports four failure-handling features for processing Kinesis and DynamoDB streams: Bisect on Function Error, Maximum Record Age, Maximum Retry Attempts, and Destination on Failure. These new features allow you to customize responses to data processing failures and build more resilient stream processing applications. Lambda processes data records from Kinesis and DynamoDB streams i
DynamoDBをいじり始めてかれこれ一年くらい。見よう見まねで騙し騙しやってきたが、色々と痛い目を見てわかってきたこともある。転んで生傷つくりながら、テーブル設計をする際に考えるようになったことを、備忘録的に記述していく。 オートスケールの話はしない(わからない)。インフラ専門部隊がいないなら、オンデマンドがいいよ。人的コストより多分安いよ。 ドキュメント なにはともあれ、公式のドキュメントについて存在を知っておく→「DynamoDB のベストプラクティス - Amazon DynamoDB」 こんな記事を読んでいる時間があるなら、公式のドキュメントを読むべきだ。でも多分読めない。自分も今でも読めていない。ここに書かれているのは本当に日本語だろうか、と真剣に思う。まぁ教科書なんていうのはだいたい、わかってから読むとわかるもんである。 それでも通して読むことでなんとなく親しみがわくのが人間
はじめに こんにちは。ZOZOテクノロジーズBtoB開発部の三好です。 今回はServerlessなシステムの監視、保守、運用を行う中で、これまでやってきたことや、その反省点などを紹介します。マネージドサービスでの開発・運用で同じ苦悩をされている、もしくはこれからマネージドサービスを利用して構築する方々の参考になれば幸いです。 サービス紹介 私の所属するBtoB開発部は、Fulfillment by ZOZO(以下FBZ)を提供しています。FBZはZOZOBASEと自社EC、店舗の在庫を一元化し、在庫切れの無い世界を実現するためのサービスです。 その中で、ZOZOBASEと自社ECをつなげるためのデータ連携API開発を担っています。 なぜ監視をするのか 私たちは、日々APIが正常に稼働しているか、不正なデータが発生していないかを監視してます。マネージドなサービスを使って、Serverles
1年付き合って見て思ったこと。 Lambdaは毎年たくさん機能アップデートがあるけど、やっぱりLambdaの醍醐味はそのシンプルさだと思います。シンプルに使えるように、Lambdaだけでシステムやロジック設計をするのではなくて、AWSのビルディングブロックの組み合わせで適材適所で活かしあった方が良いなと思う1年でした。 Provisioned Concurrencyによって、より多くのワークロードでLambdaが利用された1年になりましたが、それ以上にProvisioned Concurrencyを利用しなくても、そのまま素で自動的にスケールしてくれるLambdaの良さを再確認した1年でもありました。 この記事について 執筆時はre:Invent 2020の前日です。 ですので、re:Invent2020の内容は一切含みません。 そしてProvisioned Concurrencyは201
本日の reinvent でのリリースで衝撃のアップデートがたくさん出ましたね。EKS on Fargate や SageMaker の大幅アップデートも魅力的ですが Lambda の常識をくつがえす RDS のプロキシ機能が登場しました 🎉 ついに出ました!これでLambdaからRDS使うの怖くなくなります。Lambdaからも使えるコネクションプールマネージャ。これでLambdaとRDBMSの相性問題は先日のVPCの改善と合わせて解消されますー。SQL最高!! / “Using Amazon RDS Proxy with AWS Lambda | AWS Compute Blog” https://t.co/YWgIu19GoH — Keisuke69@AWS re:Invent (@Keisuke69) December 4, 2019 Lambda から RDS に対するアクセスは
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く