Rubyで並列処理をやっていく #AdventCalendar - ainameの日記
mixiグループアドベントカレンダー2016 1日目です。 今回は、自分が今まで利用したRubyでの並列処理を書くためのgemとか知見を紹介します。 機運 先日のRubyKaigi 2016で、Ruby3ではGuildという新しい並列処理のモデル*1が、導入されるというセッションがあったり、concurrent-rubyというgemの開発が流行り初めて居たりと、Ruby界隈でも何となく並列処理がブームきているように感じます。 マルチプロセス/スレッド しかしRubyで並列処理するのは言語の仕様としてそれなりに制限があり、他の言語のようにThreadをバンバン立ててマルチコアで計算！爆速化！！みたいなのは難しいです。 というのも、Ruby1.9からネイティブスレッドは導入されたものの多くのC拡張を使ったgemのスレッドセーフ性が問題となるため、GIL(Global interpreter l
Ruby でマルチスレッドプログラミングなど - u16suzuの blog
Threadを1つ th = Thread.fork do p 33 end th.join Threadを複数 count = 3 count.times.map do |i| Thread.fork do p i end end.each(&:join) Process pid = fork do p 'Process fork' end exitpid, status = *Process.waitpid2(pid) Fiber Fiber とはThread を軽量化したもの. f = Fiber.new do p "First" Fiber.yield # Fiber.yield を呼ぶとコール元に処理が戻る. もう一度Fiber#resumeが呼ばれたときは ここから処理が継続する. p "Second" Fiber.yield p "Third" Fiber.yield p "
Fiberのための同期機構の作り方 - @m_seki の
Rubyのスレッドは素晴らしいと思うのですが、なぜか人気がありません。 Fiberで書けば人気が出ると思うので、ときどき調べています。多くのサンプルは次のようなジェネレーターっぽいものです。 fib = Fiber.new do a, b = 1, 1 while true Fiber.yield(a) a, b = b, a + b end end 10.times do |n| p [n, fib.resume] end Enumeratorなどの実装もこんな感じでできてるんでしょうね。 二つの実行主体（fibのFiberと10.times..してるメイン部分）はメイン部分がFiberを利用しているような構図です（？？）。 resumeするべき相手のことを知ってるし、むしろFiberが資源みたいな感じ（？？？）。 マルチスレッドでのプログラミングのように、複数のFiber間で連携する雰
RubyとGoとBashで並行処理のパフォーマンス比較をしてみた
目次 比較する処理内容Rubyの場合 直列ダウンロードThreadで並行ダウンロードGoの場合 Go runで実行build済みバイナリで実行Bashの場合まとめRubyで書いたコードをGoで書き直したらどれくらい早くなるかを検証したくてやってみた。ついでにBashでもどうなるかも比較した。 画像ファイルをダウンロードするだけの単純な処理での比較。複雑な処理になるとまた結果は全然違ってくると思います。あしからず。 比較する処理内容100個の画像をダウンロードするコードをサンプルにやってみた。 Rubyの場合Ruby 2.6 で検証。 直列ダウンロードまずは何も考えず順番に１つ１つダウンロードするRubyコード。 # no_thread.rb require 'open-uri' (1..100).each do |i| open("./images/#{i}.png", 'wb') do
あらためてRuby製のクローラー、"anemone"を調べてみた - プログラマでありたい
３年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけられませんでした。そこで改めてanemoneのソースを読んでみたところ、クローラーが必要とする機能を必要最小限で実装され、やはり中々良い出来です。冬休みの宿題ではないですが、勉強の意味を兼ねてソースを追っていくことにします。 Anemoneが利用しているライブラリ一覧 anemoneが利用しているライブラリは、４種類に分類できます。 Ruby標準or一般的なライブラリ データ取得で利用しているライブラリ データ解析で利用しているライブラリ データ保存で利用しているライブラリ この分類別に構造をみるとわかりやすいので、順番に追っ
ruby & perl - 軽量プロセスをthreadで代用 : 404 Blog Not Found
2007年05月18日03:30 カテゴリ ruby & perl - 軽量プロセスをthreadで代用 erlangで唯一萌える軽量プロセスですが、これはthreadでも比較的簡単に代用はできます。 Rubyist Magazine - Rubyist のための他言語探訪 【第 10 回】 Erlangで紹介されていたErlang Landのフィボナッチ数を非同期で計算する例は、rubyで書くとこんな感じになるでしょう。 thrfib.rb require 'thread' require 'Common' def worker(n, q) return Thread.new do q.push("fib(#{n}) = #{fib(n)}") end end def manager(n, q) Thread.new do n.times { puts q.shift } end end
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ruby: Thread と Fiber - Qiita
