Pythonでマルチプロセス処理 - Yura YuLife例えば、ファイルを1行ずつ読んでその1行1行に対して何か重い処理(データベースへ登録、自然言語処理など)をする場合、マルチプロセスで並列処理を行うと早くなることがあります。 以下のようなサンプルプログラムを動かしてみました。 マルチプロセスの処理スクリプト multi_process.py #!/usr/bin/python # -*- coding: utf-8 -*- import sys import time from multiprocessing import Process def some_process(idx, num_process, lines): for line in lines[idx::num_process]: print "プロセス%d: %s行目を処理します" % (idx, line.strip()) time.sleep(1.0) # 重い処理風
