複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマでありたい

最近のRubyのクローラーは、EventMachineを使って並列化するのが流行のようです。EventMachineは、非同期処理をお手軽に実装できるフレームワークです。Rubyのスレッド機能との違いは、Reactorパターンを使いシングルスレッドで実装している点です。こちらのブログが詳しいので参考になります。 「見えないチカラ: 【翻訳】EventMachine入門」 EventMachineを使うと、イベント・ドリブンの処理を簡単に実装出来ます。使い方は簡単ですが、通常の同期処理やスレッドをつかった処理に比べると、どうしてもコードの記述量は多くなります。今回の例である並列化してクローラーを走らせるという用途であれば、短時間で多くのサイトにアクセスするのが目的です。イベント・ドリブンで並列化処理を実装するのが目的ではないはずです。その辺りの面倒くさい処理を実装したライブラリがcosmic

[mi_kattun]

id:ikeikeikeike Scrapyについて書きました / http://orangain.hatenablog.com/entry/scrapy

[ikeikeikeike]

誰かはよ、Scrapyの紹介はよ

[ronaldonaldo]

あとで

[RabbitBit]

Rubyクローラー近況。最近はPythonよりRubyな風潮を感じる。

[tkmoteki]

"複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマになりたい" がいぶさーびすから

[poppun1940]

最近のRubyのクローラーは、EventMachineを使って並列化するのが流行のようです。EventMachineは、非同期処理をお手軽に実装できるフレームワークです。Rubyのスレッド機能との違いは、Reactorパターンを使いシングルスレッドで

[suginoy]

こしばさんプロダクツだ

[kasumani]

複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた : プログラマになりたい 　　　　　文系SEです。いい年なってもコード書き続けます。 　　　　　やっぱグレートなプログラマになりたいっす。 ■[ruby][crawler]複