スクレイピングツールを使って自動化テスト：WWW::Mechanizeの利用｜アークウェブのブログ
SEの進地です。 スクレイピング（Scraping）とはWebページを取得し、タグを解析し、必要な情報を抽出して利用すること、およびその技術です。こうしたスクレイピングを支援するツールはRSSやWebサービスAPIを提供していないサイトの情報も組み合わせてマッシュアップするWeb 2.0ライクなサービスの構築にも利用できますが、自動化テスト用のツールとしても非常に優秀です。 今回は強力なスクレイピングツールの一つであるWWW::Mechanize（mechと呼称されることもあり）を使ったWebシステムの自動化テスト技法について書いていきます。 WWW::Mechanizeの利用環境 WWW::Mechanizeは元々はPerlのモジュールとしてCPAN（http://www.cpan.org/）で配布されていましたが、現在ではRuby、Pythonにもモジュールが提供され、利用できるように
Yahoo!フォトから画像一括ダウンロードするスクリプトを組んでみた - @ikikko のはてなブログ
3月にサークルの後輩Sが結婚したのですが、そのときの写真をとある出席者がYahoo!フォトにアップしてくれました。で、オンラインで見れるのはいいのですが、なぜかYahoo!フォトには画像を一括してダウンロードする機能がありません。 別に何がなんでもオフラインで見たいというのではないのですが、ローカルに落とせてもいいよなぁと思って、カッとなって一括ダウンロードスクリプトを作ってやろうと。150枚以上の写真を一つずつ手動で保存するなんて、想像しただけでも気が狂いそうになりますし。 とは言っても、実際に着手までに1週間、完成までに1週間かかったわけで、2週間もたてば熱も結構冷めてるのですが・・・＞＜ 対象のページは↓な感じ。指定したフォトアルバムの中の写真をボコボコ引っこ抜いてローカルに保存していきます。 今回試してみたかったのは、Web::Scraper - search.cpan.org。正
Web::Scraperが便利すぎて困るの巻 (CodeZine編集部ブログ)
こんにちは、編集マンの久次です。 なんだかPerlのWeb::Scraperが便利すぎで、やばいです。 これまでWWW::Mechanizeでごにょごにょやっていたのですが、一気にいろんなものが解決しました。 それで、いろいろ書いていたら、HTML::TreeBuilderのlook_downというメソッドも強力なことにいまさらながら、気づいたので勉強がてら、ためしにコードを書いてみました。 Webの自動制御に今日も夢が広がる…。 ＜参考＞ Web::Scraper - Web Scraping Toolkit inspired by Scrapi - search.cpan.org naoyaのはてなダイアリー - Web::Scraper ブログが続かないわけ | Web::Scraper 使い方(超入門) Web::Scraper超便利 scrAPI Cheat Sheet
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
