Pragger で WWW::Mechanize
Pragger で WWW::Mechanize を簡単に使うプラグインを書いた。 これでまだ機能は貧弱だけどEntryFullText相当のことがログインの必要なサイトでも簡単に書ける。 Mechanize::agent Mechanize::basic_auth Mechanize::post Mechanize::Filter::entry_full_text たとえば、[Plagger][EFT]pixiv.yaml - fubaはてな 相当のことをやるには、 昨日のyaml、 - module: Feed::custom_feed config: url: http://www.pixiv.net/index.php?tag=C74 split: "<li>(<a\\ href=\"index\\.php\\?mode=medium&illust_id=\d+?\"><img\\
RubyのWWW::Mechanizeを解説してみる古い版 - きたももんががきたん。
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
WWW::Mechanizeがメモリを食いまくる件について - 一分一秒真剣勝負！
Rubyで某通販サイトの商品在庫数をファイルにリスト出力するスクリプトを書いたら、なんとクロールが終了し終わった頃にはメモリを400Mも消費していた。pageオブジェクトをループするごとにクリアするとか、何かやらないと駄目なのか？とずっと悩んでいたところ、id:kitamomongaさんのブログを発見。 もしかして履歴って無限？ 無限です。しかも @body 変数にファイル内容を丸まんま保持したまま延々メモリ内に積み重なっていきます。メモリの空きが無くなるか、その WWW::Mechanize オブジェクトが終了するまで続きます。 agent.max_history = 1 とすると、動作に必要な最低限の履歴が確保できます。履歴に関する機能を自力で使わないのならこれで充分だと思われます。 なるほど、助かりました。max_historyなんてメソッドがあったのか。これで無駄にメモリを使わなく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
