クローラ作成に必須！XPATHの記法まとめ - Qiita
最近クローラーを作成する機会が多く、その時にXPathが改めて便利だと思ったので XPathについてまとめてみました！ XPathを学ぶ方の役に立てれば幸いです。 初級編 XPathとは XPathはXML文章中の要素、属性値などを指定するための言語です。 XPathではXML文章をツリーとして捉えることで、要素や属性の位置を指定することができます。 HTMLもXMLの一種とみなすことができるため、XPathを使ってHTML文章中の要素を指定することができます。 例えば、 <html> ... <body> <h1>ワンピース</h1> <div class="item"> <span class="brand">iQON</span> <span class="regular_price">1,200円</span> <span class="sale_price">1,000円</sp
第3回 XPathの応用－PostgreSQLのXPath機能を利用したデータ照会の実際 | Let's POSTGRES
これをcsv形式のデータとすると以下のようになります（１行分だけ記します）。 1076,石川順子,開発一課,23,ishikawa@abcd.com,"<work-record> <career> <period> <start>2008-09-01</start> <end/> </period> <content>亀ロジスティクス様社内ネットワーク運用保守</content> <role>運用メンバー</role> </career> </work-record>" ところで、データの格納の際、これまではINSERT文の中に直接データとなる文字列を埋め込んでいましたが、今回は数が多いので、csv形式で用意しておいたファイルから一括挿入できるCOPYコマンドを使ってみましょう。ここで読み込むファイルはPostgreSQLデータベースのユーザーがアクセス許可されている必要があります。Win
phpでxpathを使ってスクレイピング（WEBページの取得）とXpathの書式例｜プログラムメモ
■ 1. まず php-xml のインストール yum install php-xml ■ 2. 実際のサイトからスクレイピングを行って Xpath で要素を取得のPHPコード test.server.com から WEBページを取得してきて＜div id="myid"＞の要素を取得します。 $url='http://test.server.com'; // file_get_contents を使うより高速、ただしメモリは食う require_once 'HTTP/Client.php'; $client =& new HTTP_Client(); $client->get($url); $response = $client->currentResponse(); $dom = @DOMDocument::loadHTML( $response['body']); $xml = sim
XPathを取得するブックマークレット - hogelogの日記
javascript:function x(e){if(e.nodeType==9){return""}if(e.hasAttribute("id")){return'id("'+e.getAttribute("id")+'")'}var p=e.parentNode;var t=x(p)+"/"+e.tagName.toLowerCase();var c=p.childNodes;var g=0;var s;for(var i=0,n=c.length;i<n;++i){if(c[i].nodeName==e.nodeName && c[i].nodeType==e.nodeType){++g;if(c[i]==e){s=g}}}if(g==1){return t}t+="["+(s)+"]";return t}var f;function m(a){return function(e)
phpでxpathを使ってスクレイピング（WEBページの取得）とXpathの書式例｜プログラムメモ
■ 1. まず php-xml のインストール yum install php-xml ■ 2. 実際のサイトからスクレイピングを行って Xpath で要素を取得のPHPコード test.server.com から WEBページを取得してきて＜div id="myid"＞の要素を取得します。 $url='http://test.server.com'; // file_get_contents を使うより高速、ただしメモリは食う require_once 'HTTP/Client.php'; $client =& new HTTP_Client(); $client->get($url); $response = $client->currentResponse(); $dom = @DOMDocument::loadHTML( $response['body']); $xml = sim
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Studying XPath 1.0 [ What's New? ]
2003/06/08 内容を見直し、説明を丁寧にして、図を増やしてみました。 2003/01/30 指摘していただいた間違いを修正しました。 location pathで、 相対location pathと絶対location pathの英語表記が逆になってしまっていました。 申し訳ありません。 2002/02/17 だいぶ久々ですが、内容を見直しました。 説明をなるべく丁寧にして、実例を増やしました。 以前に比べれば分かりやすくなったと思うのですが、どうでしょう。 2000/12/17 XPathのコア関数ライブラリについての内容を追加して、 一通りXPathについて網羅したはずです(書き忘れがなければ)。 今後は、より分かりやすくするための見直しを行なっていきます。 2000/10/15 expressionについて、演算子を中心に内容を更新しました
特定のclass属性を持った任意の要素にマッチするXPath | 3.14
結論特定のclass属性を持った任意の要素にマッチするXPath(hogeは指定したいclass属性名) //*[contains(concat(" ",normalize-space(@class)," "), " hoge ")] 特定の要素にしたい場合は適当に div[contains(concat(" ",normalize-space(@class)," "), " hoge ")] などとする． 概要特定のclass属性を持った任意の要素にマッチするXPathというのはアドオンやUserJavaScript，スクレイピングの際にDOMノードを特定するために良く使いますが，XPathの書き方がマズイ人がたまにいます．普通に考えたらXPathはこうなります． XPath1:: //*[@class="hoge"] class属性は以下の引用部分に書かれているとおり，スタイルシート以
Latest topics > CSS3セレクタとXPathでの表現の対応表 - outsider reflex
Latest topics > CSS3セレクタとXPathでの表現の対応表 宣伝。日経LinuxにてLinuxの基礎？を紹介する漫画「シス管系女子」を連載させていただいています。 以下の特設サイトにて、単行本まんがでわかるLinux シス管系女子の試し読みが可能！ « getElementsByなんちゃら の代わりにXPathを使う Main Mozilla 24 » CSS3セレクタとXPathでの表現の対応表 - Sep 13, 2007 拡張機能勉強会の時に焚き付けられた、Text Shadowのコード（textshadow.js）を教材にして拡張機能開発のノウハウを解説していくシリーズ。 XPathをノードの検索に活用する方法を紹介したけど、肝心のXPathが書けなきゃ意味がないわけで。でもXPathって、ノードセットがどうとかノードテストがどうとか軸がどうとか修飾がどうとか、い
Firebugの便利な組み込み関数 - 技術メモ帳
id:brazil さんのブックマークで知ったのだが、 Firebugには、便利な組み込み関数が定義されているようだ。 一通りさわってみたのだが、 $x() で 任意のXPath要素が取得できるのとかに感動した。 そして、やっぱりちゃんとドキュメント読むべきだなぁと思った。 XPathから要素を取得する。 $x("/html/body/h1"); -> 要素の配列が返ってくる。 selector名から要素を取得する。(getElementsByTagName) $$("h1") -> 要素の配列 所要時間測定 console#time, console#timeEnd time ~ timeEnd で囲んだ部分の所要時間を 計測することが出来るみたいで、 以下のような関数にまとめると良さそうだ。 function bench( callback ) { var uniq_id = Date
XPathGraph
ただいま6月7日以降に新しく作成したグラフが更新されない不具合を確認しています。原因調査中ですが、マッシュアップ先のはてなグラフの影響の可能性もあり解決までしばらく掛かるかもしれません。ご不便をお掛けしまして申し訳ございません。作成済みのグラフに関しては問題なく更新されています。また登録についても（更新はされないものの）可能です。 XPathからグラフを生成。 XPathGraphはウェブサイト上にある数値を定期的に取得し、自動的にグラフを作成するサービスです。取得したい数値を含むノードをXPathで指定すると、その日に巡回した結果をグラフに追加していきます。［詳しく］ 例えば こんなグラフを作成出来ます 為替 no description 2008年11月12日 18:28 怖い絵２Amazonランキング no description 2008年12月18日 20:09 microSDH
PHPのDOM XML関数のうちXpath系のメソッドを使う時の注意
ページ情報 制作日 2004-02-14 最終更新日 2004-02-14 参照用URI http://www.arielworks.net/articles/2004/0214a 分野 PHP XSLT関数に慣れていると名前空間の仕様に混乱するかもしれないので簡単な説明を書いておく。PHPのバージョンは4.3.4だ。 デフォルトの名前空間 まずはXHTML文章の名前空間を思い出す。 <?xml version="1.0" encoding="UTF-8"?> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>テストページ</title> </head> <body> <h1>見出し</h1> <p>本文</p> </body> </html> このXHTML文章（のようなXML文章）はxmlns="http://www.w
Big Sky :: WWW::MechanizeとXPathでtwitterのfriendsを全部取ってみる
« Google Search History RSSはUser-Agentを見てencodingをISO-8859-1に決め打ちする | Main | Re: Web::Scraper 0.15とcisco_scraper.pl » twitterのAPIでfriendsが100件しか取れなくなって久しいですが... WWW::MechanizeとXPathでtwitterの全friendsを取得するサンプル作ってみました。 あまりやり過ぎると、オフィシャル側に怒られそうな気もしますが... 後の使い方は、適当で... #!/usr/local/bin/perl use warnings; use strict; use LWP::Simple; use XML::Simple; use WWW::Mechanize; use HTML::TreeBuilder::XPath; use
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHPの SimpleXMLを文字列に戻す方法
Ubuntu – Error
PHP: SimpleXMLElement - Manual
Get a html tag and store in a php variable
XML講座- IISLAB>xml>リソース>XPath - ３ XPath（XML Path Language）
http://blog.modeelf.com/web%E3%82%B5%E3%82%A4%E3%83%88%E7%AE%A1%E7%90%86/%E3%81%A9%E3%82%93%E3%81%AA%E3%83%9A%E3%83%BC%E3%82%B8%E3%81%A7%E3%82%82%E3%83%9E%E3%82%A6%E3%82%B9%E4%B8%80%E3%81%A4%E3%81%A7xpath%E3%82%92%E5%8F%96%E5%BE%97%E3%81%A7%E3%81%8D%E3%82
SimpleXML関数