Pythonでマルチプロセス処理 - Yura YuLife
例えば、ファイルを1行ずつ読んでその1行1行に対して何か重い処理(データベースへ登録、自然言語処理など)をする場合、マルチプロセスで並列処理を行うと早くなることがあります。 以下のようなサンプルプログラムを動かしてみました。 マルチプロセスの処理スクリプト multi_process.py #!/usr/bin/python # -*- coding: utf-8 -*- import sys import time from multiprocessing import Process def some_process(idx, num_process, lines): for line in lines[idx::num_process]: print "プロセス%d: %s行目を処理します" % (idx, line.strip()) time.sleep(1.0) # 重い処理風
concurrent.futures使い方メモ - Qiita
concurrent.futures http://docs.python.jp/3/library/concurrent.futures.html Python3.2で新たに標準となったパッケージで、マルチスレッド、マルチプロセスによる並列タスク処理を簡単に実装できる。 Executorという基底クラスを継承する形でThreadPoolExecutor、ProcessPoolExecutorが実装されており、どちらを使ってもほぼ同じインタフェースで書ける。 インストール Python3.2では標準パッケージなのでインストールの必要無し。 2.6以上向けにBackportが提供されている。 import concurrent.futures import hashlib def digest(t): # 適当にCPU資源を消費するための関数 hash = hashlib.sha256()
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
