【Ruby】クローラーフレームワークAnemoneのStorageにMongoDBを使う | ITベンチャーで働くエンジニアのメモ帳

お久しぶりです。 自社サイトのリニューアルに集中して、すっかりアウトプットを怠ってしまっていました。 友人に生きてるのかと心配されるほど静かでしたが 生きています。息してます。 もうブログの更新も1ヶ月とまっていたんですね さて、今回は前回のエントリ【Ruby】サイトをクロールするライブラリAnemoneをインストールして動かしてみる (07/26)でも紹介したAnemoneについて書きたいと思います。 以前紹介したデフォルトの方法だとクロールしている過程のデータ（ページの内容とかURLとか）はメモリ、つまり普通のハッシュにのせて処理を進めていきます。 クロールするページが増えれば増えるほどメモリリソースを使ってしまって途中でプロセスがささるという現象にたびたび困っていました。 Anemoneに処理の内容を別のストレージ(mongodbやtokyocabinetなど)を利用することが出来る