Heart Beat » [備忘録]WWW::MechanizeでのBasic認証の例
すごく簡単にログインできるし、LWP::UserAgentのサブクラスなのでcredentialsも同じように使える。 メモメモ。 #!usr/bin/perl use strict; use utf8; use warnings; use Encode; use WWW::Mechanize; my $mech = new WWW::Mechanize; my $user_name = "ユーザ名"; my $password = "パスワード"; $mech->credentials('ドメイン:ポート番号','Auth Test',$user_name,$password ); $mech->get("表示したいURL"); print $mech->content(); WWW::Mechanize 日本語のリファレンス的なもの http://digit.que.ne.jp/wor
IndexPage - Walrus, Digit.
IndexPage ActivePerl - Windowsで利用できるPerlのバイナリ配布。ActiveState - ActivePerlの配布元。AddHandler - UPSAliasWikiName - WikiページやURLの別名です。amanja - AmazonAssociateProgram - Amazonの販促プログラム「Amazon Associate Program」について。AntennaSiteName - Wikiアンテナで取得するページと種類の登録。Apache::Session - このページの内容はPerlモジュール/Apache::Sessionに移動しました。ApacheCE - General Paranoyaxcで公開されているWindows CE用のApacheに関する情報。AsO - よろしくですBritneyfhgbl - Need
Perl : HTML::TreeBuilderによるパース（リンクの取得）
ここでは、取得したHTTPメッセージのbody部分に含まれるHTMLを解析してAタグ内に含まれるリンクURLを取り出す方法を説明したいと思います。 HTTPクライアントサンプル 以下にHTTP::LiteとHTTP::TreeBuilderを利用したクライアントを示します。 まず、Aタグを順次取得しています。 次に、取得したAタグに含まれるhref attributeをprintしています。 #!/usr/bin/perl use HTTP::Lite; use HTML::TreeBuilder; $http = new HTTP::Lite; # URL部分を変更して下さい $req = $http->request("http://www.hogehogeURL.com/") || die $!; $body = $http->body(); $tree = HTML::TreeBu
英辞郎 - コマンドラインから和英/英和単語翻訳
NAME DESCRIPTION libwww-perl URI::Escape Term::ReadLine IMPLEMENTATION SEE ALSO AUTHOR NAME 英辞郎 - コマンドラインから和英/英和単語翻訳 DESCRIPTION 英辞郎というサイトがあります。ALCという会社のサイト上で、フォームから和英/英和の単語翻訳ができる優れものです。技術用語なども豊富なのでなかなか使い勝手があります。 これを、シェル上から使えるようにしたい、というのが今回の企画です。職場 で英語の技術書を読んでいるとき、またドキュメントを英語でかく必要がでて きたとき、いちいち重いブラウザを使うことなく (w3m や lynx を常用してい るひとならそれでも構いませんが)、コマンドラインからちょっとした単語の 訳が出せると、非常に便利だと思うのです。 インターフェースとしては、nsl
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
UNIX処方箋：WWW::MechanizeモジュールによるWebアクセスの自動化 - ITmedia エンタープライズ
郵便番号検索などが行えるWebサイトをよく利用します。ただ、毎回Webブラウザで項目を入力して検索するのは面倒なので、スクリプトなどを利用したいと考えています。どのように実現したらよいでしょうか？ 一般的なCGIに対しては、Perlスクリプトなどを用いると簡単に検索できます。ここでは、「MACアドレスのベンダーコード検索」サービス用のスクリプトとして、WWW::Mechanizeモジュールを利用したoui-search.plを紹介します（リスト1）。 なおシステムには、PerlおよびWWW::Mechanizeモジュールを事前にインストールしてください。WWW::Mechanizeモジュールは依存するものが複数あるので、CPANモジュールを利用すると簡単に導入できます。 1 #!/usr/bin/perl -w 2 3 use strict; 4 use WWW::Mechanize; 5
Makino Takaki's Page - 文書館 - Technical Tips - Simple Perl HTTP Proxy (.ja)
ちょっと簡単な proxy プログラムに、転送するファイルをかたっぱしから保存してほしかっただけなのだが、 HTTP::Proxy モジュールはクソだった (少なくとも 0.20 の段階では) ので 自分で簡単な proxy を書く羽目になった。なので、後世の人の参考になるかどうか わからないが、ここに置いておく。HTTP 以外 (FTP とか) ではうまく働かないような気がする。 #!/usr/bin/perl # Simple HTTP Proxy Program using HTTP::Daemon. # (c) 2007 by Takaki Makino http://www.snowelm.com/~t/ use strict; use HTTP::Daemon; use LWP::UserAgent; my $ua = LWP::UserAgent->new(); my $d
Web Testing with HTTP::Recorder
Web Testing with HTTP::Recorder Jun 4, 2004 by Linda Julien HTTP::Recorder is a browser-independent recorder that records interactions with web sites and produces scripts for automated playback. Recorder produces WWW::Mechanize scripts by default (see WWW::Mechanize by Andy Lester), but provides functionality to use your own custom logger. Why Use HTTP::Recorder? Simply speaking, HTTP::Recorder re
PerlのWeb::Scraperを使ってTwitterのボットを作ってみた - そうだ車輪と名付けよう2nd
今更ながらにPerlのWeb::Scraperを触っていてなにか目的意識がほしいと言うことでTwitterのボットを作ってみました。ネタとしては「福岡市の新型インフルエンザに関する情報をポストするボット」と言うことで、福岡市 新型インフルエンザに関する情報から「福岡市内における新型インフルエンザ患者の発生状況」を引っ張ってきてポストすると言う単純なものです。@fukuoka_influとはいっても、さくら水産の日替わり定食献立表を取得する - noboruhiの日記 - Plaggerグループで公開されていたものをほぼコピー。変えたのはスクレイピングする対象の部分とFeedのEntryを入れなおすところくらい。特段といってはなんですが、あまり考えずに作っています。上手く設定できていれば1時間に一回チェックをかけに行くはずです。 いくつかの反省点 実行権限スクレイピングするために、Web::
Web::Scraperを使って、物件一覧をGoogle Mapsにマッピング : cotalog
福岡ファミリー向け物件特集！: ファミリー物件を見ていて、これはいいな、RSS登録するか。 と思ったのですが、このRSSはどうやら福岡の不動産情報探し・お部屋探しサイト「ムビマップ福岡」：こだわりの物件特集[賃貸版]: 物件一覧のようで、僕にはいらん情報も混じっておりました。 で、話題のWeb::Scraperでスクレイピングしてみるか。ついでに取得した一覧はGoogle Mapsにマッピングしてやるか。 というエントリです。 http://fooo.name/ からURL一覧を取り出すのにWeb::Scraper使ったけど、これは良いね scraper http://fooo.name/accounts/otsune してsでソース見てそれっぽくXPath書いてdumpして、データが取れてたらcでソース出して終了。イカス。 を参考にさせてもらいました。 まずは、 $ scraper ht
【インフォシーク】Infoseek ： 楽天が運営するポータルサイト
日頃より楽天のサービスをご利用いただきましてありがとうございます。 サービスをご利用いただいておりますところ大変申し訳ございませんが、現在、緊急メンテナンスを行わせていただいております。 お客様には、緊急のメンテナンスにより、ご迷惑をおかけしており、誠に申し訳ございません。 メンテナンスが終了次第、サービスを復旧いたしますので、 今しばらくお待ちいただけますよう、お願い申し上げます。
Plagger - Trac
Japanese Plagger: the UNIX pipe programming for Web 2.0 Plagger is a pluggable RSS/Atom feed aggregator written in Perl. Everything is implemented as a small plugin and you can mash them up together to build a new application to handle RSS/Atom feeds. Ray Ozzie said RSS can be Unix Pipe of the Internet and that way Plagger is an Unix shell for Web 2.0! If you're familiar to Perl, Plagger is like a
たった＊行のコードでHTML取得＆解析をしたい場合はWeb::Scraperが便利 - 酒日記 はてな支店
なんか無茶振りされたので。 簡単！たった１３行のコードでHTML取得＆解析をするPerlスクリプト を Web::Scraper というモジュールを使って書き直すと、こんな感じになります。 use strict; use Web::Scraper; use LWP::UserAgent; use Encode; my $scraper = scraper { process "#topicsfb li" => "topics[]" => "TEXT"; }; $scraper->user_agent( LWP::UserAgent->new( agent => "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)" ) ); my $result = $scraper->scrape( URI->new("http
Web::Scraper使ってみた - Unknown::Programming
id:naoyaさんが触ってるの見て面白そうなので僕も触ってみました。 Web::Scraper - naoyaのはてなダイアリー で何を取得してこよーかなーと思ったんですが、ちょーど今流行り？のFizzBuzz問題でブクマコメントがワンライナー大会になってるのでコード(っぽい)ものを取って来るやつを作りました。 #!/usr/bin/perl use strict; use warnings; use Web::Scraper; use Encode; use URI; use URI::Find; use Perl6::Say; my $url = 'http://b.hatena.ne.jp/entry/http://www.aoky.net/articles/jeff_atwood/why_cant_programmers_program.htm'; my $links = scr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
「Perl」関連の最新 ニュース・レビュー・解説 記事 まとめ - ITmedia Keywords
[HTTP-Recorder] Using http-recorder with a proxy in my company
Perl/Plagger | PukiWiki
ほたっと [Perl]WWW::Mechanize の落とし穴
プログラムの文字コードにUTF-8を使用する
1P漫画を公開している「今日マチ子のセンネン画報」(http://diary.jp.aol.com/juicyfruits/)から、JPG画像で公開されている作品を全てごそっとローカルに保存し…