Pragger で WWW::Mechanize
Pragger で WWW::Mechanize を簡単に使うプラグインを書いた。 これでまだ機能は貧弱だけどEntryFullText相当のことがログインの必要なサイトでも簡単に書ける。 Mechanize::agent Mechanize::basic_auth Mechanize::post Mechanize::Filter::entry_full_text たとえば、[Plagger][EFT]pixiv.yaml - fubaはてな 相当のことをやるには、 昨日のyaml、 - module: Feed::custom_feed config: url: http://www.pixiv.net/index.php?tag=C74 split: "<li>(<a\\ href=\"index\\.php\\?mode=medium&illust_id=\d+?\"><img\\
WWW::Mechanizeがメモリを食いまくる件について - 一分一秒真剣勝負！
Rubyで某通販サイトの商品在庫数をファイルにリスト出力するスクリプトを書いたら、なんとクロールが終了し終わった頃にはメモリを400Mも消費していた。pageオブジェクトをループするごとにクリアするとか、何かやらないと駄目なのか？とずっと悩んでいたところ、id:kitamomongaさんのブログを発見。 もしかして履歴って無限？ 無限です。しかも @body 変数にファイル内容を丸まんま保持したまま延々メモリ内に積み重なっていきます。メモリの空きが無くなるか、その WWW::Mechanize オブジェクトが終了するまで続きます。 agent.max_history = 1 とすると、動作に必要な最低限の履歴が確保できます。履歴に関する機能を自力で使わないのならこれで充分だと思われます。 なるほど、助かりました。max_historyなんてメソッドがあったのか。これで無駄にメモリを使わなく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RubyのWWW::Mechanizeを解説してみる古い版 - きたももんががきたん。