Big Sky :: Perlでブックオフの店舗を検索し、結果をハッシュの配列に格納する
« vimからVisual Studioを操作出来るvisual_studio.vimの日本語対応してみた。 | Main | ゆの in Boo » HTML::TreeBuilderは便利だけど、データ構造がロジックになってしまうのが難点。 Perlでブックオフの店舗を検索し、結果をハッシュの配列に格納する - As a Futurist... HTMLを解析する練習です。Perlの配列とかハッシュの扱いも少し分かりました。 以下のブックオフの検索をPerlでやっただけです。 http://blog.riywo.com/2008/03/31/164327 ってことでWeb::Scraperで。 #!/usr/bin/perl -w use strict; use warnings; use URI; use Web::Scraper; use YAML; my $str = shift
はてダのはてブ内人気記事ベスト50を取ってくるperl script - あそことは別のはらっぱ
http://d.hatena.ne.jp/tragedy/20080522/p1で作っているベスト50つうのは、本人も言うとおり『d.hatena.ne.jp』 の人気エントリー - はてなブックマークを成形したものだそうで。 であれば、普通にスクレイピングしてくればいいのかな、ということで。 #!/usr/bin/perl use strict; use Web::Scraper; use URI; use utf8; # init my $entry_body = scraper { process '.entry-body > a.bookmark', 'url' => '@href'; process '.entry-body > a.bookmark', 'title' => 'TEXT'; process '.entry-body > a.domain' , 'writer'
PHPでのスクレイピングに役立つライブラリ - (DxD)∞
APIが提供されていないサービスから欲しい情報だけを取得するには、HTMLなどから自前でスクレイピングを行うしかありません。PHPでのスクレイピングに役立つライブラリなどをまとめてみました。 PerlやRubyには色々と便利そうなものが見つかるのですが、PHPにはなかなかこれといったものがないですね。 Webスクレイピングライブラリ HTMLScraping HTMLをXML化してDOMやXPathで操作できるクラス。主にHTTP_Request+HTMLParser(XML_HTMLSax3を含む)/Tidy+Cache_Liteという構成で、スクレイピングに必要なものが一通り揃っている。ライセンスはLGPL他。 WebScraper シンプルな汎用スクレイピングクラス。HTTP_Client+HTMLParser(XML_HTMLSax3を含む)という構成で、XPathで要素を抽出でき
phpによるスクレイピング処理入門
1. はじめに このサイトは php を利用したスクレイピング処理の具体的手法について記載されたサイトにしようと思っています。なので、あまり面白いサイトではありません。内容も偏重していることと思いますが、ご質問などがございましたら、りょーちまでご連絡ください。 1.1. スクレイピングとは スクレイピングの話しを始める前に、現在のWebサービスについて幾つか言及しておきます。 現在様々な会社が様々なWebサービスを展開しています。かなり昔、今よりWebサイトそのものが少ない頃の時代は、HTMLファイルを手動で作成することが殆どでした。しかし、現在はバックグラウンドにデータベースが存在し、データベースの内容を動的に表示し、ページを作成するようなサイトがかなり多くなっています。 さて、データベースを利用するメリットは何でしょうか？ 幾つかの視点が挙げられると思います。 最も重要な点は、ひとつひ
phpによるスクレイピング処理入門:7. 例2.為替レートを取得してみる
今回は、為替レートをスクレイピングにより取得してみましょう。といっても、実際は為替レートが表示されているHTMLファイルをスクレイピングし、該当箇所を抜き出すだけなので、基本は殆ど同じです。 今回利用するサイトはひまわり証券株式会社 ブログパーツ FXレートウォッチャーです。元がブログパーツなので、取得するHTMLファイルの容量も少なくてよさそうなので、今回は、このサイトを利用してみます。 上記のサイトでは、<IFRAME>タグを利用して、パーツを表示するタイプです。なので、<IFRAME>タグのsrcのアトリビュートで指定されている、 を対象にしてみます。 サンプルソースを見ながら解説を進めます。 rate.php proxy.php ではプログラムを見てみましょう。 前回のはてなフォトライフではスクレイピング対象となるHTMLファイルを動的に変化させましたが、今回は固定ですね。3行目の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.openvista.jp/archives/note/251/?251/