HTML からリンクのタイトルと URL を PHP Simple HTML DOM Parser を使って取得する
PHP Simple HTML DOM Parser で HTML からリンクを取得することができます。以下のサイトが参考になりました。この記事では具体的に HTML からリンクを取得する方法を解説します。 PHPでHTMLをパースする | zaru blog PHP Simple HTML DOM Parser をダウンロード PHP Simple HTML DOM Parser というライブラリを使うとできます。以下のサイトからライブラリをダウンロードしてきます。 PHP Simple HTML DOM Parser リンクのタイトルと URL を取得する リストなどにリンクが含まれているような HTML からリンクを取り出す例です。 $output = <<< DOC <ul> <li><a href="http://example.com/1">Title1</a></li> <l
PHPでHTMLをパースする « zaru blog
XMLじゃなくて、HTMLを解析したい…。しかもPHPで。 XMLだと、simplexml_load_file()っていう便利な関数がPHP5からあるけれど、HTMLはタグを取り除くぐらいしかない…というわけで、探してみたらHTMLをパースするライブラリがあった。 その名もまんまな、PHP Simple HTML DOM Parser。 PHP Simple HTML DOM Parser 2011/02/21 追記 ユーザエージェントを偽装する方法を書きました。 使い方 include('simplehtmldom/simple_html_dom.php'); $html = <<<EOM <ul> <li>aaa</li> <li>bbb</li> <li>ccc</li> </ul> EOM; $data = str_get_html($html); foreach($data->f
Find XPath（ブックマークレット） - Hatena::Let
by toton 2010-05-22 [2010/05/22 15:52:45] http://xpath.kayac.com/help , たぶんIE以外用 /* * @title Find XPath（ブックマークレット） * @description http://xpath.kayac.com/help , たぶんIE以外用 * @include http://* * @license MIT License * @require http://svn.coderepos.org/share/lang/javascript/bookmarklets/yunogenerator.bookmarklet.js */ Permalink このページへの個別リンクです。 RAW 書かれたコードへの直接のリンクです。 Packed 文字列が圧縮された書かれたコードへのリンクです。 User
渋谷でサボるエンジニアの日記» ブログアーカイブ » simplexml_import_domで文字化け
最近、スクレイピングでいろいろやってるんだけど、文字化けで困ったのでメモ。 DOMでデータを扱うときで元データがEUCの場合、下の様にHTMLをUTF-8に変換してから処理をしてるんだけど、 $HTML = mb_convert_encoding($HTML,”utf8″, “euc-jp”); $HTML = preg_replace(’/charset=euc-jp/’ , ‘charset=utf-8′ , $HTML); $HtmlDOM = @DOMDocument::loadHTML($HTML); $HtmlXML = simplexml_import_dom($HtmlDOM); なぜか、これで必ず文字化けが発生するページが一部あって。どうやら、simplexml_import_domのところで化けてるらしい。 で、調べてみた所、php>DOM>文字化けって記事を書
ヘルプ : XPathGraph
XPathGraphとは XPathGraphはウェブサイト上にある数値を定期的に取得し、自動的にグラフを作成するサービスです。取得したい数値を含むノードをXPathで指定すると、その日に巡回した結果をグラフに追加していきます。また、count()などの関数や各演算子を使って数値自体を新たに生成して記録することも出来ます。 例えばトップページのグラフ総数id("total")から取得したグラフは現在このようになっています。 XPathGraph Graphs データが溜まるにつれて変遷が視覚化されていきます。 茶太 @last.fm 作り方 サインアップ、ログイン グラフの作成にはアカウント登録が必要です。サインアップから登録して下さい。通常アカウントの他にOpenIDでログインすることも出来ます。 ログイン後、グラフの作成から各項目を設定します。 グラフ作成 XPathの作成は Fire
2. ロケーションパス
2.1 ロケーションパス (簡略な記述法) XPath では、XML 文書上のノードの位置を指定する際、ロケーションパスと呼ばれる式によって表します。ロケーションパスの書き方には、厳密かつ詳細に記述する書き方と、簡略に記述する書き方の 2 つがありますが、ここではまず、ファイルのディレクトリ構造の記法に似ていて直感的に分かりやすい後者の方から説明することにします。 主な構文を以下の表に示します。 構文 意味
phpでxpathを使ってスクレイピング（WEBページの取得）｜PHPプログラムメモ｜プログラムメモ
■ 1. まず php-xml のインストール >|| yum install php-xml |||| $url='http://test.server.com'; // file_get_contents を使うより高速、ただしメモリは食う require_once 'HTTP/Client.php'; $client =& new HTTP_Client(); $client->get($url); $response = $client->currentResponse(); $dom = @DOMDocument::loadHTML( $response['body']); $xml = simplexml_import_dom($dom); $t = $xml->xpath('id("myid")'); if (! $t){ die('xpath error'); } prin
Webスクレイプ時におけるXPath取得方について その２ - うせーのブログ運営ひとりごと
Webスクレイプ時におけるXPath取得方についてに引き続きの内容になります。 自力で正しいXPathを取得する方法ですが、↓のようにやっていました（今になって「効率悪いなぁ」と思うのですが）。 取得する要素（前回と同じ） 1.firebugのXPathをまずは試してみる（tbody要素は実ソースにない場合は抜く） amazonの例：/html/body/div[4]/table/tr/td[2]/div/table/tr[2]/td[3]/strong/a がNG。 2.NGの場合、遡れるところまで遡る（パスを少しずつ削っていき、実際に出力されるところまで試す） ＃こちらにあるように、scraperコマンドを利用する amazonの例：/html/bodyまで遡らないと表示できなかった。 ↓ /html/body/div[2]とやったら欲しい部分を（大きくだが）拾えた。 3.出力され
ぷぎえもん日記 |php：SimpleXMLで名前空間や属性を処理する
SimpleXMLはxmlの処理が非常に簡単です．SimpleXMLを使用する際，多くの場合はxmlが単純な構成になっていて問題ないのですが，atom形式のように名前空間や属性が色々くっついている場合は最もシンプルな方法では処理できませんでした． ということで復習がてら書いてみます．ここで使用するxmlはYouTubeのDataAPIを利用します．YouTubeのAPI詳細はこちらへリファレンス ガイド: Data API プロトコル DataAPIを使用し『自民党CM』というワードで検索して結果を取得しました． 今回取得できたのはこの動画のxmlです． xmlを見てみます．このxmlはあくまで例ですので閲覧用に見やすくするため改行してあります． <?xml version="1.0" encoding="UTF-8" ?> <feed xmlns="http://www.w3.org/2
PHP：var_dump だって見やすくなりたい（デバッグ用 var_dump）: Script雑感
長い間スクリプト使い続けてきて今更ながら覚え書きをしようと一念発起。 まー。節操もなく色々手を出しています。これからも。 JavaScript / PHP が主なところかな？ 「この程度のスクリプトでデバッグ用ライブラリなんてかったりぃなぁ。」 ってな時などにvar_dumpをより見やすくする関数。 前回、var_dump が循環参照に意外と抵抗力があるってな記事を流したんで、これに乗じて今まで使ってた関数をアップグレードしました。しかも、調子こいて色付けやら強調やらも。 var_dump()を使う前に http://blog.cles.jp/item/1512 pre タグでもいいのですが、string データに html ドキュメントや改行があるとそれもまた見難いので、ついでにそれも変換します。 PHPでvar_dump()を使ったお手軽デバッグコード by ウェブライフハック htt
PHP5、未整形HTMLをSimpleXMLへ変換 - goungoun技術系雑記帳
PHP5でのスクレイピングについて調査してみた。 正規表現でやってもいいのだけど。 PHP5でやるのだからSimpleXMLでやってみたい。 となると、いかに未整形HTMLを整形済にしてSimpleXMLとするかが 課題となる。これについて調べてみた。 ↓これが答え。なるものを見つけました。 HTMLParser(PEARのXML_HTMLSax3使用)orTidyで整形してるそうです。 HTMLをXML化してDOMやXPathで操作するWebスクレイピング用PHPクラス : Under Construction, Baby: # SimpleXML＋HTMLParser or Tidy＋HTTP_Request＋Cache_Lite http://www.rcdtokyo.com/ucb/contents/i000851.php これで調査終了。というのも寂しいので。 もう少しお手軽にで
Simple HTML DOM documentation
PHP Simple HTML DOM Parser A fast, simple and reliable HTML document parser for PHP. Created by S.C. Chen, based on HTML Parser for PHP 4 by Jose Solorzano. Parse any HTML document PHP Simple HTML DOM Parser handles any HTML document, even ones that are considered invalid by the HTML specification. Select elements using CSS selectors PHP Simple HTML DOM Parser supports CSS style selectors to navig
xpath マウス javascript - Google 検索
javascript-snippets.autify.com › Autify JavaScript Snippets › Snippets マウス操作 · 要素をクリックする · 要素をダブルクリックする · XPathで見つけた要素をクリックする · 要素を右クリックする · マウスホバー · DragEventによるドラッグ& ...
JavaScript-XPath をリリースしました！さあ、あなたも XPath を使おう！（解説付き） - IT戦記
JavaScript-XPath とは JavaScript-XPath は、 DOM 3 XPath を実装していないブラウザに対して、実用的な速度で動作する DOM 3 XPath のエンジンを追加します。 一言で乱暴に言ってしまえば、どのブラウザでも document.evaluate って関数で XPath 使えるようになるよ！ってことです。 以下が公式サイトになります。 http://coderepos.org/share/wiki/JavaScript-XPath DOM 3 XPath ってなんなの！？ めっちゃ簡単（で、ちょっとだけ適当）なDOM 3 XPath の説明をします＞＜。 JavaScript でよく使う document.getElementById や document.getElementsByTagName って関数ありますよね？ DOM 3 XPath
【YQL 速攻レビュー】米 Yahoo! が SQL っぽく色んなデータを取ってこれるAPIを出した - てっく煮ブログ
米 Yahoo! が Yahoo! Pipes みたいに自由度が高くて、またちょっと毛色が違うサービスが出てきた。題して、Yahoo! Query Language。YQL と呼ぶようだ。SQL 風の言語を REST で投げて、結果を XML や JSON で受け取ることができる。具体的にやってみないと分かりにくいので、とりあえず試してみた。RSS からデータ取得YQL を使って RSS から最新のタイトル10個を取ってきてみる。こんな YQL になるらしい。 select title from rss where url='http://d.hatena.ne.jp/nitoyon/rss' rss テーブルに対して select を発行している。実際にこの YQL を試すには YQL 用の console を利用するとよい。（※要ログイン）console の左上に YQL を入力して
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.rcdtokyo.com/ucb/contents/i000799.php
IBM Developer
トップページ