Web::Scraperでhtmlのcontent-typeを一発で抜き出す方法 | hirobanex.net
近年、Webデータを使ったデータマイニングが活況を呈していますので、WebのスクレーピングをしてDBにためておきたいというニーズが少なからずあると思います。 Perl環境であれば、スクレーピングしたHTMLをDBに貯める前にutf8に変換しておきたいので、HTMLから文字コードを取り出したいと思います。そんなときに試行錯誤して調べた、PerlのWeb::Scraperを使った文字コードを抜き出す方法紹介します。なお、この記事はhachioji.pmにおける発表に基づいています。 不完全な方法 Web::Scraperを使って、簡単に一発で抜き出すには、パっと思いつくのは以下のような方法です。 use strict; use warnings; use Web::Scraper; use Test::More; my $html = '<meta HTTP-EQUIV="content-ty
Web::Scraperで正規表現を使って必要なリンクだけを取得する方法 - 日曜プログラマのそゞろ事
わかってしまえば単純なことでした。 process 'a[href=~/\.jpe?g$/]', 'urls[]' => '@href'; XPathでも同じようにできます。 process '//a[@href =~ /\.jpe?g$/]', 'urls[]' => '@href'; Web::Scraperにはフィルタの概念があって、取得してからごにょごにょできるので、そっちのほうばかり調べていました。 例えば以下のようなHTMLの場合、そのまま取得すると、前後に改行が入ってしまいます。 <title> タイトルなのだ </title> で、それを取得する時に、前後の改行を削除してやることができます。 process 'title', 'title' => ['TEXT', sub { s/^\s+//o; s/\s+$//o; } ]; こういう機能をフィルタと呼んでいます。 その
Amazon アフィリエイトのレポートをメールで自動で受けとる 2011年版 | ブログが続かないわけ
Amazon のアフィリエイトのレポートは毎回ログインしないと見れないのがわずらわしいです。僕のブログなんてどうせ、という気分で頑張ってログインすると、だいたい、ほんとになにもありません。デイリーレポートなんて存在意義すらわからないです。レポート対象期間を長めに設定して見なおして、過去の実績で溜飲を下げるという無駄な時間を過ごすのもいいかもしれません。ですが、それもむなしくなると、もうログインもしなくなっちゃいます。 でも、これじゃダメですよね。向こうからレポートが自動で送りつけられてくれば、見るクセもつくだろうという目論見のもと、たしか誰かそういうことやってたよな、ってのを思い出しまして、探してみました。 Amazon アフィリエイトレポート: blog.bulknews.net これはmiyagawa さんのやつですね。当時見たのはこれかもしれないけど、さすたに7年も前の記事なので、ア
【Perl】WWW::Mechanize と Web::Scraper で PASMO の利用履歴を得る（その１） - blog.remora.cx
This domain may be for sale!
Web::Scraper - めざましテレビ・今日の占い - 夜から朝にかけて
めざましテレビ占いをスクレイプするプログラムを書いた。 #!/usr/bin/env perl use strict; use Web::Scraper; use URI; use Data::Dumper; use utf8; use Encode; my $baseurl = "http://www.fujitv.co.jp/meza/uranai/index.html"; my $scraper = scraper { process "table[background=~/rank/]",'items[]'=> scraper { process 'img[src=~/conste_/]', 'title'=>'@alt'; process 'td[class="lucky"]','lucky'=>'TEXT'; process 'td[class="text"]','text'=
Cookieが必要なページをスクレイプする - うせーのブログ運営ひとりごと
Cookieを持っていないとアクセスできないページってありますよね。普通にスクレイプしようとすると、アクセスNG、またはCookie取得を促すページにリダイレクトされたり。 そういったページを取得したくて、Web::ScraperとWWW::Mechanize、HTTP::Cookiesを使って試してみました。 use strict; use warnings; use Web::Scraper; use WWW::Mechanize; use HTTP::Cookies; use URI; my $cookie_file = ‘lwpcookies.txt’; my $uri = “取得したいURL”; my $url = URI->new( $uri ); my $cookie = HTTP::Cookies->new(file => $cookie_file, aut
橋本商会 » モバイルSuicaの履歴をtwitterに流したかった
xtunnelのためにスクレイピングの勉強をしていて、Mechanize+hpricotからMechanize+nokogiriの組み合わせに乗り換えようと色々と使ってみている中でできた物のひとつ。 昔しゃお先生がやっていたのを俺もやりたくて3ヶ月ぐらい前に作ったけど、mobilesuica.comのおサイフケータイ使用履歴は1日一度早朝に更新される仕様に変更されたらしくボツになった。 結局idやcssなどの手がかりが無くて手動で要素を取り出す事になり、nokogiriはHTMLタグを除去するのにしか使わなかった MobileSuica.rb #!/usr/bin/env ruby # -*- coding: utf-8 -*- require 'rubygems' require 'nokogiri' require 'mechanize' require 'kconv' module
PerlのWeb::Scraperと正規表現について教えてください。
以下のスクリプトで困ってます。質問をスクリプトの下に書きましたので、よろしくお願いします。 #------------------------------------------------------------------ #!C:/strawberry/perl/bin/perl use strict; use Web::Scraper; use URI; use YAML; use encoding 'shiftjis'; my $stuff = URI->new("http://table.yahoo.co.jp/t?s=9503.t&a=5&b=13&c=2 … my $scraper = scraper { process "table table table tr td small", 'news[]' => { title1 => 'text' }; }; my $res
Wassrでもらったイイネ！をスクレイピングして取得する - すぎゃーんメモ
API経由だとJSONでないと取得できず、しかもリアルタイムなデータではないっぽい。 ので、Web::Scraperを使って取ってみるテスト。 #!/opt/local/bin/perl use strict; use warnings; use Encode; use Web::Scraper; use URI; # ユーザー情報 my $user = scraper { process "a", "screen_name" => 'TEXT'; process "a", "user_login_id" => '@href'; }; # 発言の内容 my $scraper = scraper { process "div.favorited_user_list > form", "favorite_users[]" => $user; process "div.MsgBody > p",
Web::Scraperに入門した - 日曜プログラマのそゞろ事
かなーり今更感がありますが。 モジュール自体は、大分前にウェブにあったスクリプトをコピペして使ったときにインストール済みでしたが、なんとなく難しそうで敬遠していたところもありました。 が、やってみると簡単かつパワフルなモジュールであることがわかりました。 参考：use Web::Scraper; - 今日のCPANモジュール XPathがなかなかわからないのですが、CSSセレクタでもいけるのが超絶簡単です。 例えば、aタグのhref属性を取得する場合のprocessは以下のとおり。 process 'a', 'urls[]' => '@href'; で、この場合だと、href属性がないaタグも対象になってしまうので、未定義（undef）が入る場合があります。 なので、href属性があるものだけを対象としたのが以下のprocessです。 process 'a[href]', 'url
Config::PitとWeb::ScraperとPlaggerで24時間365日のゲーム監視体制
序文 趣味のネットウォッチのために仕方が無く超便利なPerlを覚えようという感じの otsune です。そんなわけでコーディングの深い話はよくわからんので、今回はPerlとCPANを使ってネットウォッチを支援する手法について書きます。 ウォッチしたいWebページを機械的に監視できれば、あとはPlaggerなどの便利ツールを使って「メールを出す」「im.kayac.comでメッセンジャーにアラートを出す」「ピザを注文する」など好きな処理をすることが出来ます。 RSSフィードやAPIなどがあるWebサイトであれば特に苦労はしないのですが、今回取り上げるOgame.jpはウェブブラウザーゲームなので、フィードなど便利な機能はまったく存在しません。 そこでウォッチしたいWebページに対してWeb::Scraperを使ってYAMLを出力する短いスクリプトを書いてしまいます。 メールを出すなどのこまご
Web::ScraperでFaviconのURL抽出 - とほほのN88-BASIC日記
typesterさんのWWW::Faviconというモジュールを使おうとしたんだけど、諸々の事情でWeb::Scraperを使うことになったので抽出ロジックをごっそり頂戴してみた。 use strict; use warnings; use LWP::UserAgent; use Web::Scraper; my $url = 'http://example.com'; my $ua = LWP::UserAgent->new; my $res = $ua->get($url); my $scraper = scraper { process '//link[@rel =~ /^(?i)(shortcut )?icon$/]', 'favicon' => '@href'; }; my $item = $scraper->scrape( $res->content, $res->base )
Big Sky :: Perlでブックオフの店舗を検索し、結果をハッシュの配列に格納する
« vimからVisual Studioを操作出来るvisual_studio.vimの日本語対応してみた。 | Main | ゆの in Boo » HTML::TreeBuilderは便利だけど、データ構造がロジックになってしまうのが難点。 Perlでブックオフの店舗を検索し、結果をハッシュの配列に格納する - As a Futurist... HTMLを解析する練習です。Perlの配列とかハッシュの扱いも少し分かりました。 以下のブックオフの検索をPerlでやっただけです。 http://blog.riywo.com/2008/03/31/164327 ってことでWeb::Scraperで。 #!/usr/bin/perl -w use strict; use warnings; use URI; use Web::Scraper; use YAML; my $str = shift
Web::Scraper を利用して画像をたくさん手に入れるWeb::Collector なんてものを書いた | ブログが続かないわけ
■主な機能1. YAML を書くだけで簡単に大量の画像を手に入れることができる。 2. 過去に取得した画像(ファイル名でチェック)は取得しない。 3. たどるページ数を制限できる。 1. がこのモジュールの主旨。 2. の機能があるおかげで、取得した画像を整理したり、いらないものを削除したりしても、もう一度同じ画像を取得してしまうことがない。 3. 最初に取得するときはたくさんのページをたどるようにしてスクリプトをキックし、その後例えばcron で定期的にまわす場合などは、たどるページを1とかにすると相手のサーバにも負担をかけなくて良い。 ■使い方1. YAMLを書く (config.yaml)--- img_dir: /Users/junichiro/Pictures/e3 uri: http://www.e-3.ne.jp/image?p= max_cnt: 1 process: pr
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
perl-mongers.org - このウェブサイトは販売用です！ - perl mongers リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
[http://search.cpan.org/perldoc?Web::Scraper:title=Web::Scraper] をつかってみた - daily dayflower
ドキュメントねー，と思ったら Redirecting… みたいな素敵なチュートリアルがあったのでいまさらながら使えるようになりました。サンプル群も参考になりました。 はてブのホッテントリから，タイトル，URL，キーワード，タグを抜き出すのを書いてみました。わりと素直に書くとこんな感じ？ use strict; use warnings; use Web::Scraper; use Encode (); #binmode \*STDOUT, ':utf8'; my $utf8 = Encode::find_encoding('utf8'); my $target = do { if (@ARGV && ! -f $ARGV[0]) { use URI; URI->new($ARGV[0]); } else { local $_ = do { local $/; <> }; $utf8->de
![[http://search.cpan.org/perldoc?Web::Scraper:title=Web::Scraper] をつかってみた - daily dayflower](https://cdn-ak-scissors.b.st-hatena.com/image/square/7969d51e3d4058607c2e8aa1d72f353fa46b298a/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12921228815719320363%2F10257846132645965437%2F1538703607)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
remora.cx
下心で覚えるエッチな Perl - 若妻サイト「舞ワイフ」をスクレイピングしてみた - おいちゃんと呼ばれています
perl-mongers.org