2013年11月22日のブックマーク (2件)

  • Big Sky :: WWW::MechanizeとXPathでtwitterのfriendsを全部取ってみる

    « Google Search History RSSはUser-Agentを見てencodingをISO-8859-1に決め打ちする | Main | Re: Web::Scraper 0.15とcisco_scraper.pl » twitterAPIでfriendsが100件しか取れなくなって久しいですが... WWW::MechanizeとXPathtwitterの全friendsを取得するサンプル作ってみました。 あまりやり過ぎると、オフィシャル側に怒られそうな気もしますが... 後の使い方は、適当で... #!/usr/local/bin/perl use warnings; use strict; use LWP::Simple; use XML::Simple; use WWW::Mechanize; use HTML::TreeBuilder::XPath; use

    Big Sky :: WWW::MechanizeとXPathでtwitterのfriendsを全部取ってみる
    michael0404
    michael0404 2013/11/22
    “d[@class="thumb"]//img/@src'”
  • use WWW::Mechanize; - 今日のCPANモジュール(跡地)

    宣伝と注意書き このサイトが元になったCPANモジュールガイドというを書きました。 書でも取り上げています。他、コラム扱いではありますが、WWW::ScripterというJavaScriptを理解するWWW::Mechanizeのサブクラスについて少し記載しました。 2007-02-18 use WWW::Mechanize; WWW::Mechanize を使うと、人間がブラウザですること (URL を開き、リンクをたどり、ID・Pass を入力、ログインボタンを押す...) を Perl にエミュレートさせることができます。略称 Mech(メック)。あまりに簡単・便利なのでなにかと悪用されることも多いモジュールです(うそです)。 Perl での HTTP 通信まわりは、LWP (libwww-perl) ファミリーが担当しており、ウェブの HTTP リクエストは LWP::User

    michael0404
    michael0404 2013/11/22
    “PI が用意されていますが、Perl 用も WWW::Selenium として CPAN にあります。 Mech については、文字コードまわりやファイルのダウンロード&保存など、まだ話は尽きませんが、関連モジュールを扱うときなどにまた取り上げよ