VikiWiki - htree
htreeとは Rubyのライブラリ。XMLパーサでもあり、テンプレートエンジンでもある。 テンプレートエンジンはsamidareで使われている。 公式ドキュメント。 htreeの挙動は順次変更になっています。 この解説は、2004/05/30に落としてきたバージョンのhtreeに関するものです。 パース urlからパースして、テキストが空でない要素のパスと内容を表示。とりあえずエンコードのハナシは無視。 require 'htree' require 'open-uri' url="http://kitchon.ddo.jp/~ashiya/diary" ht=HTree.parse(open(url).read) ht.make_loc.traverse_element do |n| txt=n.node.extract_text.to_s if txt !~ /^(\s\t\n\r)
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
PEAR :: Manual :: HTML_Template_Flexy
目次導入 -- HTML_Template_Flexy に出来ること 設定項目 -- HTML_Template_Flexy の初期設定 new HTML_Template_Flexy -- constructor$flexy->compile() -- コンパイルする必要があればマークアップを PHP にコンパイルする$flexy->outputObject() -- コントローラオブジェクトとテンプレートをマージし、結果を出力する$flexy->bufferedOutputObject() -- コントローラーオブジェクトをテンプレートとマージし、結果を返す$flexy->getElements() -- テンプレートから動的要素を取り出すnew HTML_Template_Flexy_Element -- クラスのコンストラクタ$element->setValue() -- 一般
正規表現ひとつでHTMLをパースする « ku
こないだsmartyよりフレキシブルでスマートらしい、PHPのテンプレートエンジン PEAR :: Manual :: HTML_Template_Flexy のコードをちらっと読んだ。 Flexyは初めてページを表示する時に、テンプレートをPHPのコードとして書き出して、2回目以降は書き出したPHPファイルを実行するようになっているのだけれど、そのコンパイラがあまり賢くないのだ。それをちょこっといじって、出力時の修飾子を複数つけられるようにすれば {pagetitle:utf8:u} みたいにして、文字コードを変換したあとURLエンコード、みたいな出力がスマートにかけていいと思う。それでコンパイルするところを追っていた。 ついでにsmartyもどうなってるんだろう、とコードをちらっと見てみてびっくりしたのが、HTMLのパースに preg_match() が多用されていること。こんなて
HTMLをスクレイピングして解析(パース)する - まるさんかくしかく Tech学習と入門ログ
Twitter Facebook B! Bookmark LINE Pocket Feedly HTMLをスクレイピング(scraping)してあれこれとするとき、僕はずっと正規表現に頼っていたのですが、 ページの構造が変化するとすぐに使えなくなってしまうし、時間がかかる割りに退屈な作業なので何とかならないかなと思っていました。 PHPで探していたのですが、XML(とかRSS)をパースする関数やライブラリは、良く目にするものの、HTMLを処理できるものはなかなか見つかりませんでした。 以下は、PHP(とかRuby、Perl)でHTMLをスクレイピングしたりパースするための方法。 PHPでスクレイピング＆パース HTMLを整形式のXML文書に修正するPHPクラス HTMLを、整形式のXMLに変換してくれるライブラリ。PEARのXML_HTMLSax3が同梱されているので、これだけでちゃんと動
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Manageability - HTML Screen Scraping Tools Written in Java
