サーバーレスファーストで考えるクレジットカードビジネスの最適化 / Business Optimization for Credit Card by Serverless
![サーバーレスファーストで考えるクレジットカードビジネスの最適化 / Business Optimization for Credit Card by Serverless](https://cdn-ak-scissors.b.st-hatena.com/image/square/0235098400b67a98c5b3ca808dd644f1c9fe4b46/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F045c7c6485854fc58830ecc440687a60%2Fslide_0.jpg%3F26861789)
本記事は「AWS LambdaとServerless Advent Calendar 2020」の17日目の記事です。 やりたいこと Amazon Redshiftにある10億レコードを越えるデータを1レコードずつ、特定の列を判定したりという、シンプルな処理だが全レコードを見ていく必要のある処理をしたい 従来やってた方法 RedshiftからSQLでELTしてUNLOAD UNLOAD結果をEC2へS3からダウンロード JavaやPythonなどのプログラムでバッチ処理実行 結果をS3に格納 この方法でも良かったのですが、大規模データをEC2で高速に並行で処理する、、、前に少し考えてみると、あれLambdaが相性良いのでは?と思い試してみました。 具体的な方法 MAXFILESIZEを指定してUNLOAD UNLOAD先をLambdaのイベントトリガで発火 Lambdaのおおよそのコード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く