Python における分散処理を利用したプログラムの高速化の検討 - Qiita

Python における分散処理を利用したプログラムの高速化の検討 前置き Python ではマルチスレッド、マルチプロセスを使用して分散処理ができる。 しかし、Python (cpython) のマルチスレッド処理では、 (いくつかの例外を除いて) グローバルインタプリタロック (GIL) が発生するため、 実際には並列にタスクが実行されないことに注意する必要がある。 マルチプロセスでは、GIL は発生しないが、プロセス間通信 (タスクの入出力データ) のオーバーヘッドを考慮する必要がある。 実験内容 次のサンプルタスクを一定数用意する。 タスク1: ループ 特徴: グローバルインタプリタロックがかかる処理がタスクのほぼ全体を占める。 タスクの入出力データサイズは小さい。 タスク2: ランダムバイト列の生成 特徴: グローバルインタプリタロックがかかる処理がタスクのほぼ全体を占める。 ra