長い時間かかるバッチを並行実行し何倍も早くする - Qiita何倍も早くなるかどうかは処理している内容によりますが、並行に実行することにより長い時間かかっていたバッチがはやくなることがあります。 並行に実行できそうな例 ゲームの設定などが入っているマスターデータを順番にBigQueryにインポートしているが遅い MySQLのテーブルをRedshiftに順番にコピーしているが遅い 複数のSQLをMySQLに投げ、すべて取得し終わってから処理をしている まだまだたくさんありますが、ひとまずこれくらいに。 上記を実現できそうなモジュールとして、geventがあったので、試してみました。 (ちなみにgeventは1プロセスのイベントループで並行に処理するものなので、CPUバウンドな並列化の場合は、他にも組み合わせる必要があります) geventを使わず直列で実行した場合 通常、何もやらずに処理を書くと以下のように書くことになります。 import time
