GoのS3 ダウンロード処理で知っておくと良いこと - バックエンドパフォーマンス改善

こんにちは、@igsr5 です。普段はある高専の情報科に通いながら、Wantedly, Inc. で長期インターンをしています。興味領域はフロント・バックエンド、インフラで、最近は業務でもっぱらGoを書いています。今回はGoのパフォーマンスチューニングの話です。 対象読者 aws-sdk-go(aws-sdk-go-v2)[1] で s3 ダウンロード処理のパフォーマンス改善を行いたい人 Go[2] の io パッケージの話に興味がある人 バックエンドのパフォーマンス改善に興味がある人 TL;DR 内部で s3 ダウンロードが行われるバックエンドAPI などを考えたとき、 // 1. Downloader の作成 downloader := s3manager.NewDownloader(sess, func(d *s3manager.Downloader) { // + ここを追加 d.

[tmatsuu]

わいわい。劇的改善

[remonoil]

これ利用者側でやらんといけないの？

[zu2]

“aws-sdk-go/s3manager で Downloader.BufferProvider に PooledBufferdWriterReadFromProvider を指定すると、 平均的なダウンロード処理速度が2, 3倍早くなる ダウンロード処理の全体的なレイテンシが安定する”

[tmd]

“Downloader”

[yanbe]

“平均的なダウンロード処理速度が2, 3倍早くなる”

[fn7]

個人的にio周りはブラックボックスとして扱いがちなので、チューニングできる余地があるように作られていたのには驚き。

[castaneai]

sync.Pool

[oooooo4150]

本科で長期インターンとかやるようになったのね