ActiveJobで実装したデータ取り込みジョブを2.2倍高速化した - Qiita

PubAnnotationという文章への注釈を管理するWebアプリケーションがあります。 このアプリケーションには注釈のついた文章データを一括アップロードする機能があります。 7万文章をアップロードすると7時間掛かります。この処理を高速化するために工夫しました。 PubAnnotationはRuby on Railsで実装されたWebアプリケーションです。 一括アップロード機能は、ActiveJobで実装され、Sidekiqで実行されているバッチ処理です。 結果 最初に結果を示します。 文章をアップロードしたときの平均アップロード数です。 文章によってデータ量がちがいます。2000～2500程度の文章をアップロードして平均を取りました。 縦軸が1秒当たりのアップロード文章数です。横軸はアップロードした文章数です。 次の三つの修正をしました キャッシュの導入 (x1.14) INSERTクエ