Python3のExecutor.submitを大量に実行するとメモリを多く消費する場合がある - Qiita

参考にしました: https://www.bettercodebytes.com/theadpoolexecutor-with-a-bounded-queue-in-python/ 概要 Executorでmax_workersを指定すると並列度が調整できますが、並列数を上回るペースでsubmitした場合にどうなるかというとブロックは起きません。その代わりメモリにため込むようです。この動きのため、大量に実行するとメモリを多く消費してしまうことがあります。 実際、100万ループするようなコードを書くとメモリを2GBぐらい消費します。なので、対応を考えることにしました。 内部実装と原因 内部実装を確認したところ、ThreadPoolExecutorは内部でキューを持っており、submitするとWorkItemというオブジェクトを作りキューに入れます。この内部のキューには上限が無くブロックするこ