機械学習バッチジョブの実行時間を4時間から1時間にした話

こんにちはnasaです。 最近、機械学習バッチジョブのパフォーマンス改善に取り組み実行時間を4時間30分から1時間まで改善できたのでやったことを残しておこうと思います。 やったこと 取り組みは次の４つです。それぞれ説明していこうと思います。 マシンのスケールアップ GCSを経由してBigQueryからデータを取得する 並列処理 dataframeのCSV出力をpickle出力にする マシンのスケールアップ 金の弾丸と呼ばれるやつですね。 インフラコストとの相談ですが手っ取り早く高速化したいならお金の力でぶん殴るのは良い手段だと思います。 今回実行時間の短縮に取り組んだバッチジョブはEC2インスタンス上で動いていました(k8s上で動いているけどこの辺は省略します) EC2 r5系列のマシンで実行していましたが新しい世代がいくつか追加されておりCPUのパフォーマンスが上がっていることも確認でき