この記事は CAMPHOR- Advent Calendar 2014 5日目の記事です。 こんにちは @Shtr28です。自然言語処理の研究とかしてます。 今日は研究してる時に便利だった concurrent.futures モジュールを紹介します。 Future は並列計算のパターンのひとつです。 今回はテキストを使って機械学習するときによく使う ngram を Future で並列計算します! 日本語を形態素解析器 mecab で分かち書きして、一行ずつ ngram を計算します。 フルのコードはここ(gist)。 メインの並列化のコードはここ。 def multi_process(): # kgram に対して識別番号を順番にふるための dict kgram2id = defaultdict(lambda: len(kgram2id)) # 並列計算のプロセスプールを確保! wit
![Python 3でお手軽並列計算 ~concurrent.futures を使った ngram 抽出~ - CAMPHOR- Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/ce665300e5836854f1b9e1b45c130b43a0db3d88/height=288;version=1;width=512/https%3A%2F%2Ftech.camph.net%2Fwp-content%2Fuploads%2F2013%2F09%2Fog_image.png)