Lambda×Go並列処理で100万回APIを呼び出す | フューチャー技術ブログ

はじめにこんにちは。TIG DXチームの後藤です。2021年7月に新卒でフューチャーに入社しました。 業務でAPIを通して数万～100万のデータのバッチ処理を行うLambdaの開発を行ったので、学びを共有したいと思います。 システム構成参画しているプロジェクトでCSVデータをデータベースに登録する必要がありLambdaの開発を行いました。ちなみに所属しているチームではGo言語を採用しているので、Go言語で開発を行いました。データを登録するためのAPI(API Gateway + proxy統合Lambda)を活用してバッチ処理を行います。データの件数は数百件から数十万件と幅が広く、「数十万件ものリクエストをLambdaの実行時間制限である15分以内に処理しきれるのか？」というところから開発を始めました。 ちなみに、1Web API呼び出しに大体30ms~80msほどかかります。 AWS L

[n593977]

“goroutine”

[youko03]

“Step Functions->インフラの設定が必要、ソースコードはgoroutineの場合よりもわかりやすい/goroutineで並行処理->ソースコードは少し複雑になる、1つのLambdaで処理が完結、ログの確認も容易”