なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する - Sweet Escape

2020/01/20 Update: 本エントリの内容は2019年12月3日にアナウンスされた『Amazon RDS Proxy』のリリースにより完全に陳腐化しました。過去のアンチパターンがフィードバックをもとにした改善によってアンチパターンではなくなるという最高の事例です。 サーバーレス元年始まった！ 今年がサーバーレス元年な理由. それはLambdaに以下が揃ったから. ・カスタムランタイムで実質どんな言語でも利用可能 ・VPC利用時のコールドスタート改善 ・Provisioned Concurrencyでスパイク対応も可能 ・RDS ProxyでRDBとの接続が現実的に これまで5年で受けたフィードバックがついに結実. 強い— Keisuke Nishitani (@Keisuke69) 2020年1月19日 RDS Proxyの詳細はこちらからどうぞ。まだプレビューですがぜひ試して

[Keisuke69]

未だにアクセスの多かったこのエントリを永代供養した

[kazeula]

これやったけど実際つらかった。RDSはVPC前提でLambdaはNotVPC前提で提供されている感がある。

[taiji_inoue]

わかるけど、DynamoDBはクセがすごい

[nekoruri]

逆に言うとDynamoDBのデータモデルで許される範囲しかAWS Lambdaで実現できない、理解はするが納得はできない系のあれ。

[taguch1]

コールドスタートの10秒を許容するの、社内システムくらいにしか用途を見出せない。そしてDynamoのプロジェクトには絶対に参加しない強い決意を持つくらいはたくさんの屍と脱出プロジェクトを見てきた。

[t-wada]

"コネクションプールを実現することが難しいのです。Lambdaファンクションのコンテナ間では何も共有しませんし、外部のデータストアへと永続化しない限りはできないからです" 西谷さんに最初に相談したのこの件だったな

[biibiebi]

タイトル見て「AWS Summit 2017で西谷さんが話していたなぁ」と思って訪問したらご本人の記事だった

[toyama0919]

これ 、相性悪いって言ってるけど、Lambdaのshutdownのフックが 用意されればだいぶ違うと思うんだよね。

[joker1007]

なので、Redis使ってるんだけど、DynamoDBってVPC使わずにプライベートアクセスできるんだっけ。だとするとネットワーク認識待ちが削れるので良いかもしれない。

[y_yuki]

2の問題についてはRDSのIAM認証を使えば問題なさそうかな？(http://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/UsingWithRDS.IAMDBAuth.html

[youko03]

"Lambdaは同時に処理すべきリクエストは必要なリクエスト数分のコンテナで処理します。つまり、各コンテナからDBへとそれぞれコネクションが張られることになります。ということは仮にデフォルト状態であっても1000コネ

[somemo]

“本エントリの内容は2019年12月3日にアナウンスされた『Amazon RDS Proxy』のリリースにより完全に陳腐化しました。”

[daishi_n]

昔はLambdaが直接RDBとセッション張ることになるのとファンクション実行毎にENIを作ってたからコネクションプールもできなかった。今はRDS Proxyができたからこれもカバーできる、とね。

[arrowKato]

Amazon RDS Proxyをつかっとけ

[ymm1x]

“ファンクションに対して同時実行数の上限を設定することができるようになりました” https://aws.amazon.com/jp/blogs/news/set-concurrency-limits-on-individual-aws-lambda-functions/

[tamu222i]

なるほど！RDBとは相性悪いと・・

[manchose]

わかりやすい

[tgk]

「DynamoDBの場合は分散型データベースであり同時接続数の増加そのものは気にする必要がなくなります」

[tmatsuu]

LambdaのVPCリソースへのアクセスのレイテンシ遅延問題に関しては、IAMポリシーでRDSにアクセスできるようになったことから実は解消したんじゃないかと思ってるがどうなんだろう。未テスト

[jsteins]

コールドスタートは痛いけどMySQL系でプールできないのはそんなに痛くない。あとDynamoDBそんなにツラくないよ。クエリ貧弱で困るのは設計が悪いか慣れの問題だと思う。慣れるまでが大変なのは確か。

[wordi]

"リクエストの度にコネクション張るのは重いが、かと言ってコネクションプール用意しようにもコンテナ間で共有出来ないので辛い"

[NOV1975]

外部トリガーでオンライン的にやるには難しいよね。かと言ってLambdaでRDBMSを使うようなバッチを実行するには時間の制約が。

[y_r]

AWS Summit で見たわー知ってるわーと思ったら本人だったw

[uskey]

Dynamoで良いのではと思ってたけどDynamoはDynamoでつらいというコメを見て、あぁ…ってなっている

[yoshikidz]

めっちゃでっかいサービス作ってるのかなー。MaxScaleを間においてもきついやつかな

[moccos_info]

Kafka(Kinesis)挟んだらいかんのかこれ。トランザクション成功確認しないといけないケースだとどのみちどうにもならんとして

[Horiuchi_H]

辛い話だ。まだまだサーバレスは地雷が多いな。

[rgfx]

あー。それで間にジョブキューなどを挟む必要が。

[jiro68]

DB側のコネクションをプーリングするプロキシは、コネクション毎にサーバープロセスを生成しなければならないDB(Oracle/PostgreSQLとか)であるけど、それではダメなのかな？VPCアクセスの問題は面倒だな。

[GARAPON]

わかる。ラムダ便利だけど使いにくい

[naga_sawa]

Lambda はコネクションプーリングが難しいからRDBと相性悪い と

[tolkine9999h]

間にSQS挟むとか？ってそれ、Lambdaで受ける意味無いか・・・

[daikikohara]

VPCのコールドスタート遅い問題はAWS側で何とかならないもんなのかなぁ。。。API Gateway経由でクライアントから直接アクセスある場合は正確な同時リクエスト数なんて予想できないし中々辛いよね。。。

[monochromekk]

"Lambdaファンクションのコンテナ間では何も共有しませんし、外部のデータストアへと永続化しない限りはできないからです。つまり、コンテナをまたいで利用するようなコネクションプールの実装は難しい"

[y_maeyama]

“LambdaファンクションがVPC内のリソースにアクセスしようとしたとき、かつコールドスタートが発生したときはその仕組み上10秒〜30秒ほどのレイテンシが上乗せされます”

[suthio]

LamdbaでRDB使うと基本的にioネックになるのでCPUリソースを使いきれないからもったいないってのもあると思う。

[ebo-c]

C10K問題 2017か。HollywoodじゃなくAmazonでリメイク

[shozzy]

サーバレスはまるっきり発想を切り替えないと理解できないよね。