大量のデータは少しずつ処理しよう

やりたいこと S3に置かれたサイズが大きめなCSVデータをLambdaで処理して再度S3にアップロードしたい。 しかし、一度にファイルを取得してしまうと、メモリ不足になって処理ができません。 そういう時は、S3からデータをストリームとして読み込み、都度処理しながら、別のS3バケットにストリームとしてアップロードするようにしましょう。 ストリーム形式で随時処理する （元コードから抜粋しています） const uploadStream = () => { const pass = new PassThrough(); return { writeStream: pass, promise: new Upload({ client: s3Client, params: { Bucket: BUCKET_NAME_A, Key: "sample.txt", Body: pass, }, }).do