WWW::Mechanize付属のmech-dumpが便利な件 - 日向夏特殊応援部隊
Scrapingは余りやらないんですけど、いざやる場合にフォームのパラメタとか調べるのは面倒です。そんな時にWWW-Mechanizeに付属のコマンドのmech-dumpを使うと便利です。 サンプル 例えば、Pathtraqのトップページなら、 $ mech-dump --forms http://pathtraq.com/ GET http://pathtraq.com/analytics url=解析したいサイトのURLを入れてください (text) <NONAME>=解析する (submit) m=hot (radio) [upcoming|*hot|popular|site]と言う風に出力されます。*1 つまり、 name type value url text -- submit 解析する m radio hot(/upcoming/popular/site) って感じだと分かる
maruko2 Note.
メインページ 提供：maruko2 Note. 移動： 案内, 検索 人気のページ 最近追加したページ 最近更新したページ rsync でディレクトリの同期（バックアップ） 823678 Mac OS X, Windows, rsync, バックアップ ファイル共有接続時に保存したパスワードを削除する方法 529592 Windows Apache/SSL自己証明書の作成とmod sslの設定 409939 Apache, セキュリティ Mac OS X で動画のスクリーンキャプチャを撮る方法 367580 Mac OS X 一般ユーザーを sudo できるようにする 261475 CentOS 複数NICでのデフォルトゲートウェイ設定方法 338905 CentOS, Windows, ネットワーク WinHTTPプロキシの設定方法 334817 Windows, システム管理 Post
UNIX処方箋：WWW::MechanizeモジュールによるWebアクセスの自動化 - ITmedia エンタープライズ
郵便番号検索などが行えるWebサイトをよく利用します。ただ、毎回Webブラウザで項目を入力して検索するのは面倒なので、スクリプトなどを利用したいと考えています。どのように実現したらよいでしょうか？ 一般的なCGIに対しては、Perlスクリプトなどを用いると簡単に検索できます。ここでは、「MACアドレスのベンダーコード検索」サービス用のスクリプトとして、WWW::Mechanizeモジュールを利用したoui-search.plを紹介します（リスト1）。 なおシステムには、PerlおよびWWW::Mechanizeモジュールを事前にインストールしてください。WWW::Mechanizeモジュールは依存するものが複数あるので、CPANモジュールを利用すると簡単に導入できます。 1 #!/usr/bin/perl -w 2 3 use strict; 4 use WWW::Mechanize; 5
unknownplace.org - HTML::TreeBuilder::XPath + WWW::Mechanize なスクリプトを永続化させようとしてはまった
WWW::Mechanize でコンテンツとってきて TreeBuilder::XPath で解析するようなのを今まで単機能スクリプトなどでは便利に使っていたのだけど、それを永続的なプロセスで使おうとしたらメモリ使いまくってとんでもないことになったという話。 まずどんどんメモリが増えていくのでタイミングよく読んでいたjrockwayの記事などを参考に、 perl -MDevel::Leak::Object=GLOBAL_bless 付きでスクリプトを実行してみる。 少しソースをいじってまずはループを一回で止めるようにしたときの出力 Tracked objects by class: Config 1 DBI 1 DBI::var 5 DBIx::Class::ResultSource::Table 1 DateTime::Duration 2 DateTime::Format::Build
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://okilab.jp/project/document/japanate/perldoc/html/WWW-Mechanize-Shell-0.36/WWW/Mechanize/Shell.htm
