Mechanzieをirbで使ってsearchしてると手数が多いので - それマグで！
いまどきmechanize も流行らないとおもうけど、PhantomJSはあれだし、Dom構築は面倒だし。まだ数年は使えると思ってる。 Mechanize でサイトのスクレーパーの手順は irb でmechanize 起動 ページに移動 ページに移動してからCSSを探す の手順が王道なんですが。コレが面倒です。 Mechanize に拡張して、キャッシュする pageをGETするたびに、ページのHTMLと、Cookieと、Mechanize::Pageを保存しておいきます。 保存しておいてあとで纏めて解析すれば早いよね。 このようにしておけば、HTMLをどんどん保存しておいて、あとで解析だけをできるので便利ですね。 #coding : utf-8 require 'mechanize' class Mechanize alias_method :orig_get, :get def get
MechanizeでChromeのCookieを扱って面倒なログインを飛ばす - それマグで！
ログイン処理を書くのが趣味だけど、どうしてもログインを自動化しにくいサイトが有る。 たとえばYahooやニコニコ動画。ニコニコ動画はブラウザログインすると別ログインがキックアウトされる多重ログイン禁止。Yahoo JapanはログインフォームにJS検知が埋まっていて画像認証になる。回避策考えるのが面倒。msn(live.com)はすげー面倒だし。 ログインフォーム処理を高速回避 ログインフォームの作成処理を高速回避して、とりあえず目的だけ達したいことは多い。 そういう時は、ブラウザのCookieを取り出せば楽ちん。 ChromeのCookieを使うMechanizeパッチ #coding: utf-8 require 'mechanize' class Mechanize def load_chrome_cookie(cookie_domain, cookie_path="/") case
MechanizeがHistoryを保存してメモリを食いつぶすのを防ぐ - それマグで！
Mechanizeって便利で、すごく使うのだけれど、履歴がさー履歴がたまるとメモリを食いつぶしました。 Mechanizeでは簡単に防げるようです WWW::Mechanize#max_history で履歴の最大数を指定できます。履歴機能を活用しないという場合の推奨値は 1 です。 agent = WWW::Mechanize.new agent.max_history = 1 agent.get(uri) max_history= に 0 を指定すると履歴保持数が 0になりますが、メモリにファイル全体を取り込むこと自体は全く抑制できません。一度全部メモリに取り込んでから履歴が max_history 個になるように削除するという処理の流れになっており、WWW::Mechanize::File#save メソッドなどを即使っても「オンザフライ」で処理されるというようなことはありません。
Ruby Mechanize wiki (ja) - livedoor Wiki（ウィキ）
Ruby Mechanize wiki (ja) Ruby の Mechanize の wiki のよてい トップページページ一覧メンバー編集 トップページ 最終更新： kitamomonga 2010年08月24日(火) 14:48:32履歴 Tweet Ruby の Mechanize のクラスとメソッドのせつめいの Wiki 自作外部リンク RubyのMechanizeを解説 for 1.0.0 インストールとか使い始めさん用のせつめいとかあります Wiki だけど編集は管理人のみです きゃっほー 現在 Mechanize 1.0.0 の通常使用範囲のクラスとメソッドをそれなりに書いた時点で力尽きましたです 管理は kitamomonga が行っております ブログはこちら http://d.hatena.ne.jp/kitamomonga/ 指摘連絡は今のところ手段がないので念力やテ
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
WWW::Mechanize 覚書
概論 LWP::UserAgent のサブクラスとして実装され、LWP::UserAgent のメソッドは全部使える。 WWW::Mechanize::FAQ なんてのがある コンストラクタ my $mech = WWW::Mechanize->new() WWW::Mechanize のコンストラクタは、LWP::UserAgent のしてくれることに加えて、User-Agent to とクッキージャーを、↓のような具合にセットアップしてくれる agent => "WWW-Mechanize/#.##" cookie_jar => {} # an empty, memory-only HTTP::Cookies object ユーザーエージェントを変更するなら my $mech = WWW::Mechanize->new( agent=>"wonderbot 1.01" ); クッキーを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WWW::Mechanize::Plugin::JavaScript
WWW::Mechanize::Query - CSS3 selectors (or jQuery like CSS selectors) for WWW::Mechanize. - metacpan.org