AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。
何が起きたのか 作成していたアプリではサーバレス構成にてLambdaからRDS(MySQL)を呼び出していました。 リクエストが増えるとRDSのコネクション数が増加して すぐにDBコネクションエラーになってしまいました。 最大コネクションの上限値 結論から言うとLambdaとRDS(MySQL)は相性が良くないです。 理由はLambdaからRDSのDBコネクションを貼ると リクエスト単位でコネクションを張ってしまうため 仕組み上、同時接続に耐えられません (RDSのコネクション上限数が少ない) さらにVPC設定すると・・・ セキュリティのため、RDSをLambdaからのみアクセスさせるためには LambdaとRDSを両方とも VPC領域に置く必要があるのですが、Lambdaの起動が遅くなる場合があります。 これは、一定時間Lambdaがコールしない場合にスリープ状態になり、 起動する際にE
Stop the CNAME chain struggle: Simplified management with Route 53 Resolver DNS Firewall Updated 2 May 2024: I removed the reference to Route53 Alias that was incorrectly referred as a chain Starting today, you can configure your DNS Firewall to automatically trust all domains in a resolution chain (such as aCNAMEor DNAMEchain). Let’s walk through this in nontechnical terms for those unfamiliar wi
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先日JAWS-UGアーキテクチャ専門支部で、API GatewayとLambdaでメール受信を行うという内容で発表してきたので、紹介します。サンプル実装もしたので解説します。 どうやってメールを受信するのか? API Gatewayはhttpsのみ体操しているためsmtpは受けられません。AWSにsmtpを受信する機能が無いので外部サービスを活用しています。今回はSendGridを使用しています。 SendGrid Inbound Parse Webhook SendGridは世界最大規模のメール送信プラットフォームですが、Inbound Parse Webhookというメール受信を行う機能があります。これは、SendGridがメールを受信して、メールの内容をWebhookとしてhttpリクエストしてくれます。 全体構成 SendGri
クラウドでコードが走る「AWS Lambda」正式公開。AWS Mobile SDKでモバイル対応。Node.jsに加えてJavaでの記述も可能に 昨年11月に発表されたAWS Lambdaは、利用者がインスタンスやストレージのようなコードを実行する基盤を用意することなく、クラウド上でコードを走らせることができる新サービスです。 AWS LambdaのコードはNode.jsで記述し、クラウドで発生するイベントに応じて自動的にクラウド上でコードが実行されるのが特長です。 AWS Lambdaがモバイル対応。Java対応も予定 先週、サンフランシスコで開催されたAWS Summit 2015 San Francisco 2015で、このAWS Lambdaの正式公開と、モバイル対応などの強化が発表されました。 機能強化では、AWS Mobile SDKがAWS Lambdaをサポートしたことで
AWS Lambda AWS Lambdaはre:Inventで発表されたクラウド上でコードスニペットをイベントドリブンで実行出来るプラットフォームです。 S3 EventNotificationやDynamoDB、Kinesisと連携することが出来ます。例えば、S3にファイルがPUTされたら、そのイベントをトリガーにしてDynamoDBに情報を書き込んだり、AWS SDKを利用して他のAWSサービスを呼び出すことも可能です。現在のところ、LambdaではNode.jsがサポートされています。サードパーティモジュールもnpm_modulesディレクトリも含めてzipでUploadすることで利用することが可能です。 http://aws.amazon.com/lambda/ Amazon Elastic Transcoder Amazon Elastic Transcoderは動画や音声を簡
話題のAWS Lambda Advent Calendar 2014の14日目です。クロスポストで、クローラー/スクレイピング Advent Calendar 2014の14日目でもあります。 re:Inventで発表されて以来、注目のLambdaです。サーバを用意しなくても、バッチを直接実行できるとあって、ユースケースを考えるだけで夢が広がります。今年はクローラー本を出したこともあって、Lambdaで作るクローラー/スクレイピングをテーマにします。 クローラー/スクレイピングとは? Webクローラーは、Webサイトを巡回してデータを取得するプログラムです。スクレイピングは、取得したデータから目的の情報を抜き出すことを指します。一般的には、クローラーの中に、スクレイピングの機能を包含していることが多いです。また、特定のページだけ取得してデータを抜き出すことを、スクレイピングと呼ぶことが多い
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? このクリスマスシーズンにサンタも驚きな具合で結構バズっているAWS Lambdaですが、皆さん結構色々作っているので、なんかネタを追い求めるのもしんどいので、ここまでで見えてきた利用パターンやユースケースをまとめてみたいと思います。 Lambdaを誤解を恐れずに言うのであれば、クラウド上でのイベント駆動を実現するためのAWSネイティブな実行基盤です。なんかクラウドネイティブな実行基盤が駄目な方は、ぐだぐだ言わず普通にEC2でやってればよいと思います。イメージとしては下記のような形になります。今までは利用者側がポーリングして聞かなくては行
"AWS Lambda (Preview)" AWSさんのblogは、こちら。 Lambdaは何に似ているか? これは、まだPreview版だが、未来を感じさせるプロジェクトである。 最初、「これ面白いですよ」と言われた時、Amazonが関数型の言語でも出したのかなと思ったのだが、そうではなかった。でも、別の意味で、確かに面白い。 細かな説明では、このプロジェクトが何をしようとしているか理解するの、かえって難しいかも。直感的に、一番近いもので説明すると、データベースのTriggerのようなもの。Triggerが、データベースの枠を超えて、クラウド全体に広がったようなもの ..... と書いてみたが、Trigger使ったことない人、沢山いそうなことに気づく。 何故、Trigger使う人が、相対的に減ったかを考えると、この技術がデータベースの「中」の技術であるのが理由だと思う。(今でもデータ
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
return0.infoに移転。昔の日記はまんま残してるので読みたい人はどうぞ。 世界樹の迷宮関係のコンテンツは移行が面倒なのでこっちに残すことにした。 世界樹の迷宮プレイ記録 世界樹の迷宮IIプレイ記録 世界樹の迷宮IIIプレイ記録
※日付はダミー:実際の執筆・公開日は2009-03-14 最初にホワイトボードの写真があって、その直後に説明があります。(本編の「紙芝居:ラムダ抽象」とは、写真/説明の順序が逆ですね ^^;) 関数は昔「函数」と書いてたのよ。「函」は函館のハコだから「箱」の意味。で、箱の絵を描くわけだが、毎回リアルな箱やパイプを描くのは大変だから、四角(ボックス)と線(ワイヤー)で描くよ。 四角も面倒ならオダンゴ(丸)でもいい。このセミナー内では、関数の向きは上から下だとする。関数をテキストで表現するときは、<x | f(x) > のような書き方をする。入力変数(引数変数)がxで、f(x)のところには、fを表現する式を書いてもいい。 例えばこれは二変数(二引数)の関数。fは、2つの変数xとyからf(x, y)を算出するメカニズムを持つから、そのメカニズムを 式 2*x + y*3 とかで表す。 さて、関数
Y コンビネータって何? - IT戦記で話題になってるYコンビネータがイマイチわからない。 良記事発見したので、Y CombinatorのYコンビネータを読み解いて行きたいと思います。英語版も必見デス。 相当長いです。 Yコンビネータとはナニモノ!? そういや、再帰って、名前が無いと再帰出来ないのかなぁ・・・全ての式がλで書けるなら、再帰関数もλで書けるはずだ。名前イラナイ!!という時、困っちゃうのが再帰関数の定義。僕の少ない頭では定義出来ませんでした。 「再帰をλで書きたい」 と、思ったときに登場するのが「Yコンビネータ」らしい。追っていく。 階乗ってなんだっけ まずは復習。とりあえず階乗を書きます。 (define (fact n) (if (zero? n) 1 (* n (fact (- n 1))))) (fact 10) ; 3628800 式をを分解すると、 (* 10 (*
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く