Ruby MechanizeでTwitterのfollowingをスクレイピングしてみる - 床のトルストイ、ゲイとするとのこと
WWW::Mechanize を使って、Twitter の following ユーザを取得してみる。ソースコードは以下の通り。 require 'rubygems' require 'mechanize' require 'logger' cookie_path = '/tmp/twitter_client.cookie.yaml' target = 'mirakui' agent = WWW::Mechanize.new # お好みで Logger logger = Logger.new STDOUT logger.level = Logger::INFO agent.log = logger # UA 偽装 agent.user_agent_alias = 'Windows IE 7' # cookie をファイルから読み込む agent.cookie_jar.load cookie
WWW::Mechanizeがメモリを食いまくる件について - 一分一秒真剣勝負！
Rubyで某通販サイトの商品在庫数をファイルにリスト出力するスクリプトを書いたら、なんとクロールが終了し終わった頃にはメモリを400Mも消費していた。pageオブジェクトをループするごとにクリアするとか、何かやらないと駄目なのか？とずっと悩んでいたところ、id:kitamomongaさんのブログを発見。 もしかして履歴って無限？ 無限です。しかも @body 変数にファイル内容を丸まんま保持したまま延々メモリ内に積み重なっていきます。メモリの空きが無くなるか、その WWW::Mechanize オブジェクトが終了するまで続きます。 agent.max_history = 1 とすると、動作に必要な最低限の履歴が確保できます。履歴に関する機能を自力で使わないのならこれで充分だと思われます。 なるほど、助かりました。max_historyなんてメソッドがあったのか。これで無駄にメモリを使わなく
RubyのWWW::Mechanizeを解説してみる古い版 - きたももんががきたん。
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
