タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

processとpythonに関するuokadaのブックマーク (1)

  • マルチコアで形態素解析を行う2(multiprocessing編) - Kesinの知見置き場

    前回の続きで今回はPython形態素解析をマルチコアで行うプログラムを実際に書いてみます。 私自身multiprocessingモジュールはまだ全然理解できていませんが、並列に実行するプログラムを書くには Processクラス Poolクラス を使う必要があるようです。おそらくProcessが元でPoolクラスはそれを使いやすくしたものだと思います。ここではPoolクラスを使います。 Poolクラスは指定した数だけプロセスを立ち上げ、実行させたい関数と引数を放り込むことで裏で自動的にプロセスごとに振り分けてくれる仕組みのようです。リファレンスによると方法はいくつかありますが、ここではmap()を使います。map()は1つの関数に対してリストの引数を1つずつ与えながら並列に実行させます。 今回のサンプルではファイルパスが格納されているリストを渡して、並列に実行する関数の中でファイルの中身の

    マルチコアで形態素解析を行う2(multiprocessing編) - Kesinの知見置き場
  • 1