Python 3でお手軽並列計算 ~concurrent.futures を使った ngram 抽出~ - CAMPHOR- Tech Blog
この記事は CAMPHOR- Advent Calendar 2014 5日目の記事です。 こんにちは @Shtr28です。自然言語処理の研究とかしてます。 今日は研究してる時に便利だった concurrent.futures モジュールを紹介します。 Future は並列計算のパターンのひとつです。 今回はテキストを使って機械学習するときによく使う ngram を Future で並列計算します！ 日本語を形態素解析器 mecab で分かち書きして、一行ずつ ngram を計算します。 フルのコードはここ(gist)。 メインの並列化のコードはここ。 def multi_process(): # kgram に対して識別番号を順番にふるための dict kgram2id = defaultdict(lambda: len(kgram2id)) # 並列計算のプロセスプールを確保！ wit
見えないチカラ: 【翻訳】アクターによる並列性、そしてRubyでGoroutine
Ilya Grigorikさんの "Concurrency with Actors, Goroutines & Ruby" を翻訳しました。 元記事はこちら： http://www.igvita.com/2010/12/02/concurrency-with-actors-goroutines-ruby/ （翻訳の公開と画像の利用は本人より許諾済みです） 翻訳の間違い等があればブログコメントやTwitter(@oshow)などで遠慮無くご指摘ください。 アクターによる並列性、 そしてRubyでGoroutine 並列コンピューティングの世界は複雑なものだ。私たちはハードウェア、ランタイム、そして半ダースもの異なるモデルとプリミティブから選択することを考えなければならない： fork / wait、スレッド、シェアードメモリ、メッセージパッシング、セマフォ、そしてトランザクションなど。ゆえに
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
