そろそろ Simple HTML DOM Parser を使うのはやめたほうがいい - localdisk
Simple HTML DOM Parser といえば定番のスクレイピングライブラリで、僕も随分お世話になったわけだけど遅いし重いので Goutte 使ったほうがいいという話です。某サイトをスクレイピングするのに比較したら特にメモリ消費に大きな差がでました。 比較したスクリプトは Github においてありますので自由に使ってください。なおプロファイラは @koriym さんが Qiita にポストしたものを使用させていただきました。 PHPの簡単ベンチマーク プログラム スクレイピング対象のサイトはこのブログにしました。あざといですね。タイトルのリストを出力するプログラムです。 Simple HTML DOM Parser <?php require_once './vendor/autoload.php'; require_once './profiler.php'; $html =
PHP Simple HTML DOM ParseでUA偽装をする | zaru blog
PHPでHTMLをパースするで紹介したPHP Simple HTML DOM Parseで、UserAgentを偽装したくなったので、ちょこっとスクリプトを修正してみました。 simple_html_dom.php function file_get_html() { $dom = new simple_html_dom; $args = func_get_args(); $context = stream_context_create(array('http' => array( 'method' => 'GET', 'header' => 'User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET
スクレイピングをしてみよう 認証・リダイレクト回避編 – lesson me
今日はスクレイピング時に引っかがりがちな年齢認証などを回避してhtmlを取得する方法について（今日どハマりしたので 例えば、 取得したいページがリファラーで制限されている アダルト商品など年齢認証で目的のページにたどり着くのにクリックなどが必要 こんなケースに直面した場合の対処が必要になってくると思います。 年齢認証などは簡単な場合はURLに少し手を入れるだけで特に問題なく取得できるケースも多いですが、リファラーやcookieで制限されると少し手を加えないといけません。 Simple HTML DOM Parserで普通に取得する場合 普通はこんな感じでfile_get_htmlだと思います。 $html = file_get_html($item_url); // $item_urlは取得したいページのurl リファラーやcookieを設定して取得する場合 $opts = array(
SimpleHTMLDOMParserについて - OKWAVE
非共通要素を抜き出す perlを勉強し始めたのですが、 今 非共通要素の抜き出しに苦心しています。 助けていただければうれしいです。 以下は私が試したものなのですが どうも非共通要素を抜き出せないでいます。 何故なのでしょうか？ @array = (1..10); @cmp_array = (5..10); @notfound=(); foreach $array_element (@array) { foreach $cmp_array_element (@array) { if ($array_element != $cmp_array_element) { push @notfound, $array_element; } } }; よろしくお願いします。 PHPの読解お願いいたします PHP初心者です。 環境 XAMPP1.7.0（最新） アパッチなど一括ダウンロード OS：ビスタ
PHP Simple HTML DOM Parserがとっても便利
HTMLをパースしてきてDB化したり、RSSのテンプレに落とし込む…と言ったことを少し前からしているのですけど、1つ2つならいざ知らず対象サイトが増えてくると正規表現で何かし続けるのはたいそう無理があります。そういうわけでDOMを使ったりXPathを使ったりもしていたのですが、どちらもHTMLの構造にぴったりとは言えなくて、高度なことが出来るが故に記述が複雑になってしまうのでした。うーん。慣れるまでにハードルがあるな… そんなことを思っていたのですが、ふとした拍子に見つけたライブラリ「PHP Simple HTML DOM Parser」を利用してみたらば、とてつもなく便利でびっくり。jQueryのようなセレクタでガンガン指定して持ってくるスタイルでわかりやすいのなんの。 $text = $dom->find('#todays_darling', 0)->innertext; //今日のダ
ページ全体の特定語句の抽出の正規表現について - OKWAVE
まあベストというか、HTML形式の文字列を配列化するためのPHPライブラリの一つである『PHP Simple HTML DOM Parser』を使うのが一番賢い方法ですかね？ ＞http://sourceforge.net/projects/simplehtmldom/files/ 自作のPHPコードを使える環境であれば、自前のライブラリ設置も自由に出来る環境かと思われますので。インストールなどのセッティング作業のやり方は割愛。で、後は概ねこんな感じでPHPコードを記述します。 ━ ココから ━━━━━━━━━━━━━━━━━━━━━━━━ include( './simple-html-dom/simple_html_dom.php' ); //PHPの冒頭部分で読み込み. $output = my_html_parser('./html-sample.html'); //一応,事前にサ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHP Simple HTML DOM Parser: FAQ
Simple HTML DOM Cookie set - Krylov
How to filter image types in PHP Simple HTML DOM Parser
Simple HTML DOM Parserで特定の属性値を持つものを取得