Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita

この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの

[takashi_kun]

たしかにLLMが流行ってから、以前より並列処理のニーズは上がっている気がする。時流にもあっているのかもしれない

[peketamin]

“S3からの10ファイルの取得であれば、実行時間を90%削減できます”

[knok]

s3からの取得だとネットワークの方がボトルネックになりそうだけど、小さいファイルをたくさんとかならもっと恩恵ありそう

[ledsun]

“3.12から、本格的にサブインタープリターが使えるようになったことで、この事情が変わりました。 サブインタープリターには以下の特徴があります。 スレッド上で実行することが可能 GILの制限を受けない ”

[misshiki]

“LLMではSQL文やJSONの作成で意図に沿わない形式の結果を返すことがあるのですが、並列で同時に複数回のリクエストを送って、使える結果を選ぶようにすれば、リトライのもたつきを感じることなく実装できます。”

[nilab]

Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる #Python - Qiita

[ototoi]

ThreadPoolExecutor,ProcessPoolExecutorとの比較も見たかった。あ、自分でやればいいのか。

[eggplantte]

GILのせいでスレッドが並列処理じゃなくてプロセス作った方が速かったのがサブインタープリターが使えるようになって、スレッドがようやくまともに機能するようになったと