[B! mechanize] artztのブックマーク

スクレイピングツールを使って自動化テスト：WWW::Mechanizeの利用｜アークウェブのブログ

SEの進地です。スクレイピング（Scraping）とはWebページを取得し、タグを解析し、必要な情報を抽出して利用すること、およびその技術です。こうしたスクレイピングを支援するツールはRSSやWebサービス APIを提供していないサイトの情報も組み合わせてマッシュアップするWeb 2.0ライクなサービスの構築にも利用できますが、自動化テスト用のツールとしても非常に優秀です。今回は強力なスクレイピングツールの一つであるWWW::Mechanize（mechと呼称されることもあり）を使ったWebシステムの自動化テスト技法について書いていきます。 WWW::Mechanizeの利用環境 WWW::Mechanizeは元々はPerlのモジュールとしてCPAN（http://www.cpan.org/）で配布されていましたが、現在ではRuby、Pythonにもモジュールが提供され、利用できるように

artzt 2010/03/11

リンク

Yahoo!フォトから画像一括ダウンロードするスクリプトを組んでみた - @ikikko のはてなブログ

3月にサークルの後輩Sが結婚したのですが、そのときの写真をとある出席者がYahoo!フォトにアップしてくれました。で、オンラインで見れるのはいいのですが、なぜかYahoo!フォトには画像を一括してダウンロードする機能がありません。別に何がなんでもオフラインで見たいというのではないのですが、ローカルに落とせてもいいよなぁと思って、カッとなって一括ダウンロードスクリプトを作ってやろうと。150枚以上の写真を一つずつ手動で保存するなんて、想像しただけでも気が狂いそうになりますし。とは言っても、実際に着手までに1週間、完成までに1週間かかったわけで、2週間もたてば熱も結構冷めてるのですが・・・＞＜対象のページは↓な感じ。指定したフォトアルバムの中の写真をボコボコ引っこ抜いてローカルに保存していきます。今回試してみたかったのは、Web::Scraper - search.cpan.org。正

artzt 2008/06/27

特定ディレクトリからmechanizeを使って画像をダウンロード

リンク

凉山亢兰汽车维修投资有限公司

artzt 2008/06/16

リンク

[Zaurus]Ruby用ライブラリHpricotとWWW::MechanizeのLinux Zaurus向けパッケージ - 旧式ひとりぶろぐ

電車での移動時間を使ってLinux ZaurusでWebのスクレイピングの仕込みをするべく、RubyのHTMLパーサ等を用意してみました。はけさんのはけのザウルス備忘録別館にHpricotの0.5がありますが、0.6が出ていたのでそれを。 WWW::Mechanizeにも興味があったので、それも。幾霜の橘さんから「-static-libgcc」というオプションを教わったので、ruby-serialportとruby-termiosをlibgcc(3.4.4)不要版としてパッケージを作り直しました。いずれのパッケージも、FocVさん版パッケージのRubyの構成に準拠してます。FocVさんのところにある1.8.6-p110を入れた環境で幾霜さんのzgcc34でセルフコンパイルしてます（Pure RubyなWWW::Mechanizeを除く）。ダウンロード Hpricot 0.6 「ru

artzt 2008/06/16

リンク

Web::Scraperが便利すぎて困るの巻 (CodeZine編集部ブログ)

こんにちは、編集マンの久次です。なんだかPerlのWeb::Scraperが便利すぎで、やばいです。これまでWWW::Mechanizeでごにょごにょやっていたのですが、一気にいろんなものが解決しました。それで、いろいろ書いていたら、HTML::TreeBuilderのlook_downというメソッドも強力なことにいまさらながら、気づいたので勉強がてら、ためしにコードを書いてみました。 Webの自動制御に今日も夢が広がる…。＜参考＞ Web::Scraper - Web Scraping Toolkit inspired by Scrapi - search.cpan.org naoyaのはてなダイアリー - Web::Scraper ブログが続かないわけ | Web::Scraper 使い方(超入門) Web::Scraper超便利 scrAPI Cheat Sheet

artzt 2008/06/16

リンク

日記のような何か(2007-03-26)

ようこそいらっしゃいました。あなたは今日人目、合計人目のお客様です（ちなみに昨日は人のお客様がいらっしゃいました）。よろしければツッコミに足跡等を残していって下さいな。 ← skypeやってます。 _ [Webサイト][ruby]WWW::MechanizeをXREAにインストール（その1）ここしばらくPragger触りたくて仕方が無いんですが、仕事忙しいから全然触れず。今一番やりたい事はmixiのrss化。だって会社からmixi見れないんだもん。もちろんそんなツールも探せば既にあります。あるんですが、試しに一つ使ってみたけど何か自分が望んでいたものと少し違う感じ。何より私はPraggerを触りたいんだい！以上前振り。で、そういった事をしたいならWWW::Mechanize（参考：Ruby's WWW::Mechanize 日本語リファレンス）が必要になるらしく、この土日でX