■主な機能1. YAML を書くだけで簡単に大量の画像を手に入れることができる。 2. 過去に取得した画像(ファイル名でチェック)は取得しない。 3. たどるページ数を制限できる。 1. がこのモジュールの主旨。 2. の機能があるおかげで、取得した画像を整理したり、いらないものを削除したりしても、もう一度同じ画像を取得してしまうことがない。 3. 最初に取得するときはたくさんのページをたどるようにしてスクリプトをキックし、その後例えばcron で定期的にまわす場合などは、たどるページを1とかにすると相手のサーバにも負担をかけなくて良い。 ■使い方1. YAMLを書く (config.yaml)--- img_dir: /Users/junichiro/Pictures/e3 uri: http://www.e-3.ne.jp/image?p= max_cnt: 1 process: pr
![Web::Scraper を利用して画像をたくさん手に入れるWeb::Collector なんてものを書いた | ブログが続かないわけ](https://cdn-ak-scissors.b.st-hatena.com/image/square/2302e44c95c7e474fefb218540004f95dc47a4bb/height=288;version=1;width=512/https%3A%2F%2Fimaging.jugem.jp%2Ftemplate%2Fimg%2Fjugem_og-image.png)