Go と Ruby と Amazon SQS と ElastiCache で Ranunculus というクローラを書いてみました。 正確には書きかけなのですが、もう日曜日が終わってしまうので、とりあえずまとめておくことにします。 Ruby Gem https://rubygems.org/gems/ranunculus その Gem のコード https://github.com/k-kawa/ranunculus-ruby Go のコード https://github.com/k-kawa/ranunculus なんで作ろうと思ったのか 理由は 3 つあります。 1 つめは、Ruby で使えるよいクローラが見つからなかったからです。 Python には Scrapy という、クローラのためのいたれりつくせりなライブラリがあります。 ところが、Ruby にはそういういい感じのライブラリが
![Go と Ruby と Amazon SQS と ElastiCache で分散して動かせるクローラを書いてみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7c8e035f72aeb434a6cf7069e4deb83939a5397/height=288;version=1;width=512/https%3A%2F%2Fcdn.qiita.com%2Fassets%2Fqiita-fb-fe28c64039d925349e620ba55091e078.png)