2021年 PHP 8 でスクレイピングするなら php-html-parser - 猫でもわかるWebプログラミングと副業
phpQuery vs php-html-parser この記事で扱う PHP のバージョン php-html-parser をインストール 実際に使ってみる まとめ phpQuery vs php-html-parser 以前、以下の記事を書きました。この記事では phpQuery というライブラリを使いましたが、phpQuery は3年以上更新が止まっており、最新の PHP に対応してないなど問題がありました。 www.utakata.work 別のライブラリを探していたら、 php-html-parser がかなり良かったので紹介します。 github.com この記事で扱う PHP のバージョン 今回、 PHP のバージョンは 8.0 を使っていますが、7.4 とか、7系でも問題なく動くと思います。 $ php -v PHP 8.0.0 (cli) (built: Nov 30 2
PHPで簡単スクレイピング(php-html-parser編) | CodeMoguMogu|プログラマーのお食事処
説明 php-html-parserを使って、スクレイピング（ウェブ抽出）を行います。 今回は例として、本サイトのブログタイトル一覧を入手します。 開発環境 php8.0 composer version 2.1.6 ※dockerでの開発環境の構築方法はこちら 実践 ①. composerからphp-html-parserを入れる root@hoge:/var/www/html# mkdir scraping root@hoge:/var/www/html# cd scraping/ root@hoge:/var/www/html/scraping# composer require paquettg/php-html-parser ②. phpファイルの作成(test.php) <?php require_once __DIR__ . '/vendor/autoload.php'; u
PHP Simple HTML DOM Parserの使用方法 - Webスクレイピング ライブラリ
PHP Simple HTML DOM Parserを利用することで、HTMLの要素へ簡単にアクセスできるようになります 導入 まずライブラリをダウンロードします。 PHP Simple HTML DOM Parser - Browse Files at SourceForge.net そして、それを読み込みます。 require_once 'simple_html_dom.php'; オブジェクトの生成 ヘルパー関数のstr_get_html()またはfile_get_html()から、simple_html_domオブジェクトを生成します。 // 文字列から $html = str_get_html( '<html><body>Hello!</body></html>' ); // URLから $html = file_get_html( 'http://example.com/' )
XPathでWebから欲しい場所だけ抜き取る - Qiita
最近、カレー専門の機械学習エンジンを運用している関係で、Webからコーパスを作成している。具体的にはグルメサイトなどから有益な情報をコピペして貯めこんでいるのだが、手作業で広告などを除去するのが面倒で、そういえばXPathというのがあったっけ、と思いだしてみた。 配列を入れ子にして、ひとつのドキュメントから複数の箇所を抜き出せるようにしてあるのが工夫ポイントかな。 <?php $s = ""; $url = "http://www.goo.ne.jp/"; $patterns = [ 'www.goo.ne.jp' => [ '//title', 'id("news-chu-new")' ], ]; foreach( $patterns as $domain => $xpaths ){ if( strstr($url,$domain) ){ @$content = file_get_con
そろそろ Simple HTML DOM Parser を使うのはやめたほうがいい - localdisk
Simple HTML DOM Parser といえば定番のスクレイピングライブラリで、僕も随分お世話になったわけだけど遅いし重いので Goutte 使ったほうがいいという話です。某サイトをスクレイピングするのに比較したら特にメモリ消費に大きな差がでました。 比較したスクリプトは Github においてありますので自由に使ってください。なおプロファイラは @koriym さんが Qiita にポストしたものを使用させていただきました。 PHPの簡単ベンチマーク プログラム スクレイピング対象のサイトはこのブログにしました。あざといですね。タイトルのリストを出力するプログラムです。 Simple HTML DOM Parser <?php require_once './vendor/autoload.php'; require_once './profiler.php'; $html =
特定サイトのHTMLをWebKitベースのレンダリングでPDFに変換できるPHPエクステンション:phpspot開発日誌
特定サイトのHTMLをWebKitベースのレンダリングでPDFに変換できるPHPエクステンション 2010年09月17日- Convert HTML to PDF in PHP (libwkhtmltox extension) | Perplexed Labs 特定サイトのHTMLをWebKitベースのレンダリングでPDFに変換できるPHPエクステンション。 wkhtmltopdfというコマンドラインのツールがありますが、これをPHPから使えるPHPエクステンションがGitHubにて公開されています。 このエクステンションをインストールした後、次のようなwkhtmltox_convertという関数が使えるようになっているのでそれで変換出来るみたい。 <?php wkhtmltox_convert('pdf', array('out' => 'test.pdf', 'imageQuality
HTMLをDBみたいに使えるスゴイライブラリ『htmlSql』を CakePHPで使う - h2ospace - builder by ZDNet Japan
APIやRSSなどを提供しているサイトは、情報を簡単に扱うことができますが、例えば Yahoo!の検索結果とか、mixiのニュースとか、あるサイトの一部を取り出したいことってよくあります。（とはいえ、著作権違反には注意 そんな時、PHPのライブラリである「htmlSql」を利用すると便利。このライブラリに、ファイルでもURLでも文字列でも、HTMLで作られたものなら何でも与えると、解析して取り出しやすくしてくれます。しかも、その取り出し方はSQL！ 例えば、「id属性が’test’の p要素の内容を取り出したい」という場合には、次のようなSQLを使います。 SELECT text FROM p WHERE $id=="test" 超パワフル。ということで、これを CakePHPで利用するためのテクニック。 まずは、ダウンロードしたファイルの中から次のファイルを「app/vendors」フォ
質問箱/3467 - PukiWiki-official
質問† 検索してみましたが、既出されてなかったようなので質問させて下さい。 PukiWikiはWikiNameやメールアドレス等、自動でリンクが貼られてとても簡単･便利で重宝してます。 しかし携帯HPは電話番号のリンクで直に電話をかけることが出来ますが、これと同じことはPukiWikiの記法で出来ないでしょうか？ htmlで書くとこんな感じです。 <a href="tel:電話番号">電話番号</a> どなたかご教授よろしくお願いいたします。 ↑ 回答† こんなプラグインにしてみました。下記をplugin/tel.inc.phpとして保存してください。 -- teanan 2006-07-25 (火) 15:26:25 <?php function plugin_tel_inline() { $retstr = ''; $arg = array_shift(func_get_args())
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Charming Python: Functional programming in Python, Part 3