This domain may be for sale!
【Perl】WWW::Mechanize と Web::Scraper で PASMO の利用履歴を得る（その１） - blog.remora.cx
This domain may be for sale!
スクレイピングツールを使って自動化テスト：WWW::Mechanizeの利用｜アークウェブのブログ
SEの進地です。 スクレイピング（Scraping）とはWebページを取得し、タグを解析し、必要な情報を抽出して利用すること、およびその技術です。こうしたスクレイピングを支援するツールはRSSやWebサービスAPIを提供していないサイトの情報も組み合わせてマッシュアップするWeb 2.0ライクなサービスの構築にも利用できますが、自動化テスト用のツールとしても非常に優秀です。 今回は強力なスクレイピングツールの一つであるWWW::Mechanize（mechと呼称されることもあり）を使ったWebシステムの自動化テスト技法について書いていきます。 WWW::Mechanizeの利用環境 WWW::Mechanizeは元々はPerlのモジュールとしてCPAN（http://www.cpan.org/）で配布されていましたが、現在ではRuby、Pythonにもモジュールが提供され、利用できるように
perl-mongers.org - このウェブサイトは販売用です！ - perl mongers リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
RubyのWWW::Mechanizeを解説してみる古い版 - きたももんががきたん。
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
2007-12-06
30分プログラム、その199。散財.comにプログラムから投稿する。 最近、散財.comを始めたんだけど、携帯から投稿できないのが面倒。そこで、メールを送るだけで投稿できるプログラムを作ろうと思う。 で、それの下準備としてWWW::Mechanizeを使って投稿してみる。 ソースコード #! /opt/local/bin/ruby # -*- mode:ruby; coding:utf-8 -*- # # 3zai.rb - # # Copyright(C) 2007 by mzp # Author: MIZUNO Hiroki / mzpppp at gmail dot com # http://howdyworld.org # # Timestamp: 2007/12/06 21:50:32 # # This program is free software; you can redi
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
WWW::Mechanizeにページ解析ツールが付いてた - ヒルズで働く@robarioの技ログ
フォームの内容を調べる時にFirefox拡張のWeb Developerなどを頼りに調べていたのだけども、基本的にコマンドライン派なので少々( ﾟДﾟ)ﾏﾝﾄﾞｸｾｰと思っていた。で、WWW::Mechanizeにmech-dumpというツールが付いていたので使ってみたら、これがほんとすごく便利。 使い方は簡単で、URIを渡すだけでフォームを解析した結果を表示してくれる。 $ mech-dump "http://google.com" GET http://www.google.co.jp/search [f] hl=ja (hidden readonly) ie=Shift_JIS (hidden readonly) q= (text) btnG=Google 検索 (submit) btnI=I'm Feeling Lucky (submit) lr= (radio) [*|lang_
WWW::MechanizeとSeleniumIDEで勝手APIをかんたんに作る - bits and bytes
Selenium IDE で生成したテストケースに従ってWWW::Mechanizeを動かすためのラッパーモジュールMechanizedSelenium(仮称)を作ってみて、どれくらい使えるか試してみました。 背景 スクレイピングはもっと簡単にならなければいけないの最後でちょこっと触れていた、ウェブアプリケーションのテストケースを簡単に生成する Selenium IDE は、ブラウザでクリックしていくだけでデータを抜き出せてしまう Dapper: The Data Mapper と並んで考えさせられたツールです。 一度、ウェブアプリケーションのテストをするために HTTP::WebTest を使ってテストケースを書いたことがありました。しかし、ブラウザをマウスでちょこっとつつくだけの動作をperlで書き直すのは本当に退屈な作業ですし、テストケースを書くこと自体が困難で、アプリケーションにバ
mechanize
Stateful programmatic web browsing in Python, after Andy Lester’s Perl module WWW::Mechanize. mechanize.Browser and mechanize.UserAgentBase implement the interface of urllib2.OpenerDirector, so: any URL can be opened, not just http: mechanize.UserAgentBase offers easy dynamic configuration of user-agent features like protocol, cookie, redirection and robots.txt handling, without having to make a n
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
@smate.NET: bk1nowreading.pl
WWW::Mechanize を使って bk1 の注文履歴を取得するスクリプトを作ってみました。取得した書籍リストは、トップページに Now Reading として貼り付けてます。 ■bk1nowreading.pl #!/usr/bin/perl -w use strict; use WWW::Mechanize; use HTML::Template; use Jcode; my $email = ''; my $password = ''; my $last = 10; my $url = 'http://www.bk1.co.jp/'; my $mech = WWW::Mechanize->new(); $mech->agent_alias('Windows IE 6'); $mech->get($url); $mech->follow_link(url_regex => qr/l
Amazon アフィリエイトレポート: blog.bulknews.net
Amazon アフィリエイトレポート Spidering Hacks からの産物。 Amazon のアフィリエイトレポートは、毎回ログインしなきゃいけなくて面倒なので、こんなスクリプトで自動化。 #!/usr/local/bin/perl -w use strict; use MIME::Lite; use WWW::Mechanize; my $email = 'your-email-address'; my $password = 'XXXXXXXX'; my $start = "http://www.amazon.co.jp/"; my $mech = WWW::Mechanize->new(); $mech->agent_alias('Windows IE 6'); $mech->get($start); $mech->follow_link(url_regex => qr/ass
livedoor ClipにクリップするPerlスクリプト
livedoor ClipにクリップするPerlスクリプト スポンサードリンク Tweet livedoor Clip [clip.livedoor.com] にクリップします。ニフティクリップβの時とは違って、誰か絶対作ると思っていたらもうにぽたんでやってましたので、WWW::Mechanizeの習作としてみてくれればと思います。 #!/usr/bin/perl use strict; use warnings; use WWW::Mechanize; use utf8; use Encode; # ID/Password my $username = 'abc01234', my $password = 'xxxxxxxx', # WWW:Mechanize スタート # my $mech = WWW::Mechanize->new(); my $mechurl = "http://c
Perlモジュール/WWW::Mechanize - Walrus, Digit.
以下は、他サイトに掲載されている有用なWWW::Mechanize使用例です。 私自身、「Amazon アフィリエイトレポート」を見て、本当にこのWWW::Mechanizeを使おう、と思いました。 Amazon アフィリエイトレポート(blog.bulknews.net)。 WWW::Mechanize を使って bk1 の注文履歴を取得するスクリプト(www.asmate.net)。 mixiの足あとを取得するスクリプト(digit.que.ne.jp)。日記を投稿するスクリプトのアレンジです。 指定したカテゴリの、今日の一覧を取得。 「次のページ」も追いかけて処理します。 use strict; use WWW::Mechanize; my $url = 'http://headlines.yahoo.co.jp/hl'; my $cate_label = 'コンピュータ一覧'; m
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
perl-mongers.org
http://mechanize.rubyforge.org/