5日かかる計算だった100万近くある画像のアップロードを3時間弱にした話 - Qiitaこの記事はなに？ ベーシック Advent Calendar 2016 20日目です。 機会があって100万枚近い画像を3時間弱でアップロードできるアップローダを作成しました。今回はアップローダを作成する際の手法をご紹介したいと思います！ そもそも何故やることになったのか 僕の携わっているサービスが全面リニューアルをおこなっているのですが、要件の中に、MongoDBからMySQLに乗り換えるというものがありました。その際に大量にある画像を下記理由から再アップロードする必要が出てきました。 MongoDBからMySQLへの変更に伴い、データの持ち方が大きく変わったので、画像パスを再登録する必要があった。 画像を保存しているディレクトリ構造がいけてなく、S3上での検索が困難だったので整えたかった。 また、画像のアップロード作業をする際は、サービスを一時停止、また万が一の為にやり直しをするバッフ
