htmlSQLよりアツい!?jQueryみたいにセレクタでHTMLをparse(解析)する「PHP Simple HTML DOM Parser」
htmlSQLよりアツい!?jQueryみたいにセレクタでHTMLをparse(解析)する「PHP Simple HTML DOM Parser」 今週はてブでも大人気を博した記事「真面目にエロサイトを作ってみた【プログラマ編】｜ASTRODEO」や、IDEA*IDEAさんでも紹介されていた、PHPでHTMLをparseするライブラリ「htmlSQL」ですが、解析するHTMLを指定するにはSQLちっくな書き方をするので、SQL自体に触れる機会の少ない方には手を出しにくいシロモノです。 SQLわかんないです＞＜ もっとカンタンにparseしたいぉ☆ってゆー方に全力でゴリ押ししたいのが、今回紹介するMITライセンスのPHPライブラリ「PHP Simple HTML DOM Parser」です！ PHP5で書かれたこの「PHP Simple HTML DOM Parser」の最大の特徴は、解析し
簡単！たった１３行のコードでHTML取得＆解析をするPerlスクリプト - DQNEO起業日記
１３行のコードで、Yahoo!Japanのトピックス一覧を取得する！ PerlでHTML取得・解析したいときはLWP::UserAgentとHTML::TreeBuilderというのを使うと簡単にできます。 LWP::UserAgentを使うと、Webページの取得ができます。 HTML::TreeBuilderを使うと、HTMLのDOM解析ができます。 この２つのモジュールを使って、Yahoo!Japanのトピックス一覧を取得してみましょう。 コメント行と空行を除くとたったの１３行です。 use strict; use warnings; use LWP::UserAgent; use HTML::TreeBuilder; # urlを指定する my $url = 'http://www.yahoo.co.jp'; # IE8のフリをする my $user_agent = "Mozilla
[PHP]HTMLScrapingのメモリリーク回避 | SiteMixでCakePHP開発(社外秘)
htmlファイルをスクレイピングする必要があり、HTMLScrapingというライブラリを使用しています。 http://www.rcdtokyo.com/ucb/contents/i000851.php ライブラリ自体は便利なのですが、どうもgetXmlObject()を呼ぶたびにメモリ使用量が増えていってしまう… PHP初心者ながらコードを追っていると、どうもgetXmlObject()がコールされるたびに、require ‘xhtml1-transitional_dtd.inc.php’;が呼ばれ、この度にメモリ使用量が大量に増えていっているようだ。 上述のrequire…は、一回呼ばれれば十分なコードでしたのでパッチを当ててみました。 “add 2009/10/12″, “del 2009/10/12″がある行が変更箇所です。 1 2 3 4 5 6 7 8 9 10 11 12
真面目にエロサイトを作ってみた【プログラマ編】 - BLOG｜ASTRODEO
東京都台東区で黙々とウェブでサービスを開発している株式会社アストロデオのホームページです。
『Dapperfox』を使ってFirefoxからスクレイピングをする。
先日『Dapper』に関する記事を出しました。 今回は今閲覧しているページをDapperで加工したい場合非常に便利な『Dapperfox』をご紹介したいと思います。 まず以下ページよりアドオンをインストールしてください。 ■DapperFox :: Firefox Add-ons https://addons.mozilla.org/ja/firefox/addon/4632 ■Firefox再起動後、アドレスバーの隅っこにDapperのアイコンが新しくできています。 このボタンをクリックすることでDapperへの橋渡しをすることが可能となります。 ■RSS配信のないページでは『Create a new Dapp for thes page』をクリックすることで、Dapperに引き継ぐことが可能です。 さらにその下の部分には、現在開いているURLに関するDapperが表示されています。 他
『Dapper』を使ってRSS化されていないページの特定データを抽出する。
これをご覧になっている方は、”RSSを使ってブログを巡回”している人もいらっしゃるかと思います。 しかしRSS未対応のページや表の特定部分を抜き出して他で利用する場合、どうしたらいいのでしょうか。 以前RSSを提供していないHPからRSSを発行するサービスをご紹介しました。 これはサイトのURLを入力するだけで自動でRSSが発行されるものでした。 ■RSS配信のないホームページからRSS受信をする。 http://haaya.net/1533 しかし、必要のない広告なども一緒に出力されてしまいます。 今回はもう少し進んで、特定部分の抜き出しを『Dapper』というwebサービスを使って 抽出をしてみようと思います。画像が多いのでご注意ください。 ■今回作ろうと思うもの NHK BSのホームページにある映画情報をRSSとして取得する。 NHK BSオンライン 映画カレンダー http://w
PHPでのスクレイピングに役立つライブラリ - (DxD)∞
APIが提供されていないサービスから欲しい情報だけを取得するには、HTMLなどから自前でスクレイピングを行うしかありません。PHPでのスクレイピングに役立つライブラリなどをまとめてみました。 PerlやRubyには色々と便利そうなものが見つかるのですが、PHPにはなかなかこれといったものがないですね。 Webスクレイピングライブラリ HTMLScraping HTMLをXML化してDOMやXPathで操作できるクラス。主にHTTP_Request+HTMLParser(XML_HTMLSax3を含む)/Tidy+Cache_Liteという構成で、スクレイピングに必要なものが一通り揃っている。ライセンスはLGPL他。 WebScraper シンプルな汎用スクレイピングクラス。HTTP_Client+HTMLParser(XML_HTMLSax3を含む)という構成で、XPathで要素を抽出でき
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
