gems: Webクローラ anemone を使ってみる | DriftwoodJPブログの調査を自動化できないかと思い、anemone を調べてみました。 chriskite/anemone · GitHubAnemone – Ruby Web-Spider Framework公式サイトのサンプルをいろいろといじったり調べたりしたところ、ひとまず下記の2点を解決する必要がありそう。 クロールの対象ページが多くても、動作に支障がないようにしたい。指定した URL 以下にクロールを限定したい。 anemone と MongoDB をインストールするanemone の標準では、メモリーにデータを保存するため、アクセス先のページが多いと支障が出てくるとのこと。 これを回避するためにストレージを利用するようで、定番は MongoDB のようなので、先人に習ってインストールを行います。 仕事帳: Webクローラフレームワーク Anemone の紹介ruby – Getting al
