Ruby MechanizeでTwitterのfollowingをスクレイピングしてみる - 床のトルストイ、ゲイとするとのこと
WWW::Mechanize を使って、Twitter の following ユーザを取得してみる。ソースコードは以下の通り。 require 'rubygems' require 'mechanize' require 'logger' cookie_path = '/tmp/twitter_client.cookie.yaml' target = 'mirakui' agent = WWW::Mechanize.new # お好みで Logger logger = Logger.new STDOUT logger.level = Logger::INFO agent.log = logger # UA 偽装 agent.user_agent_alias = 'Windows IE 7' # cookie をファイルから読み込む agent.cookie_jar.load cookie
WWW::Mechanizeがメモリを食いまくる件について - 一分一秒真剣勝負！
Rubyで某通販サイトの商品在庫数をファイルにリスト出力するスクリプトを書いたら、なんとクロールが終了し終わった頃にはメモリを400Mも消費していた。pageオブジェクトをループするごとにクリアするとか、何かやらないと駄目なのか？とずっと悩んでいたところ、id:kitamomongaさんのブログを発見。 もしかして履歴って無限？ 無限です。しかも @body 変数にファイル内容を丸まんま保持したまま延々メモリ内に積み重なっていきます。メモリの空きが無くなるか、その WWW::Mechanize オブジェクトが終了するまで続きます。 agent.max_history = 1 とすると、動作に必要な最低限の履歴が確保できます。履歴に関する機能を自力で使わないのならこれで充分だと思われます。 なるほど、助かりました。max_historyなんてメソッドがあったのか。これで無駄にメモリを使わなく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RubyのWWW::Mechanizeを解説してみる古い版 - きたももんががきたん。
