[PHP] スクレイピング 基本|WEBプログラム覚書
Tidyは、「Tidy HTML clean and repair utility」用のバインディングで、 HTML文書の誤りを直すだけでなく、操作することやドキュメントツリーを操作することも可能となります。 とありますが、目的のノードを取得するのはhtml、bodyから辿っていかないとダメっぽい?ので面倒です。なのでtidyではぶっ壊れてるかもしれないhtml/xmlを修正して、パースは別のライブラリ使ったほうが便利です。 お手軽なのはSimpleXMLでしょうか。xpathも利用できるし。ただxpathは重い処理になるとのことですが。。。 またamp;が存在するとどういうわけかSimpleXMLが解釈できないため、 tidyのオプションでquote-nbspをfalseに指定するも下記掲示板の記述にあるように動かず。一体どういうことなんだ?? まぁ仕方ないのでereg_replaceで
PHP Simple HTML DOM Parser: Manual
// Create DOM from URL or file $html = file_get_html('http://www.google.com/'); // Find all images foreach($html->find('img') as $element) echo $element->src . '<br>'; // Find all links foreach($html->find('a') as $element) echo $element->href . '<br>'; // Create DOM from string $html = str_get_html('<div id="hello">Hello</div><div id="world">World</div>'); $html->find('div', 1)->class = 'bar'; $h
PHPでのスクレイピングに役立つライブラリ - (DxD)∞
APIが提供されていないサービスから欲しい情報だけを取得するには、HTMLなどから自前でスクレイピングを行うしかありません。PHPでのスクレイピングに役立つライブラリなどをまとめてみました。 PerlやRubyには色々と便利そうなものが見つかるのですが、PHPにはなかなかこれといったものがないですね。 Webスクレイピングライブラリ HTMLScraping HTMLをXML化してDOMやXPathで操作できるクラス。主にHTTP_Request+HTMLParser(XML_HTMLSax3を含む)/Tidy+Cache_Liteという構成で、スクレイピングに必要なものが一通り揃っている。ライセンスはLGPL他。 WebScraper シンプルな汎用スクレイピングクラス。HTTP_Client+HTMLParser(XML_HTMLSax3を含む)という構成で、XPathで要素を抽出でき
[php]スクレイピングならHTMLScraping→SimpleXML→xpath | うえちょこ＠ぼろぐ
野暮用でphpのスクレイピングについていろいろと調べて、いくつかライブラリを見つけました。 HTMLScraping WebScraper Snoopy rhaco Tidy関数 この中で、個人的に気に行ったのはHTMLScrapingです。このライブラリの手順は以下の通りです。 HTTP_RequestでHTML文書を取得します。 サーバにTidy拡張が導入済みならTidy関数でHTMLをXMLに変換(修正)します。導入されていなければHTMLParserという同じ作者が作ったHTMLをXMLに整形するライブラリを用いてXML化します。 XML化した文書をSimpleXMLとして出力します。 お好みでCache_Liteに保存できます。 HTMLScrapingライブラリを使えば、サーバにTidyが入っているかどうかにかかわらず、HTML文書をSimpleXMLオブジェクトに変換すること
![[php]スクレイピングならHTMLScraping→SimpleXML→xpath | うえちょこ＠ぼろぐ](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d71ff5111e05619a10d29bb40d7aebaa75c8fbc/height=288;version=1;width=512/https%3A%2F%2Fs0.wp.com%2Fi%2Fblank.jpg)
phpによるスクレイピング処理入門:4. Webサイトの情報取得方法
4.1. proxy.php を利用したWebサイトの情報取得方法 前章までで環境の整備ができたので、ここからは実際のプログラミングについて勉強してみましょう。 ドキュメントルートフォルダの直下に「test01」フォルダを作成しましょう。更に「proxy.php」については、いつも利用するので、これはドキュメントフォルダの直下に新たに 「init」というフォルダを作成しましょう。そして、「init」フォルダに先ほどダウンロードした「proxy.php」ファイルをおきましょう。こうすることで、何時でも同じ場所からこのproxy.phpファイルを読み込むことができるでしょう。 ちなみに、phpで外部ファイルを読み込む際は下記のようにします。 これで、proxy.phpの中の関数を読み込んだファイルの中で利用できます。 4.1. proxy.php を利用したWebサイトの情報取得方法 では今か
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
