XPath の関数を使った Web スクレイピング - Qiita
はじめに Web ページから特定の情報を抽出する技術の総称 Web スクレイピングは、様々な方法で実現されます。手動で必要な部分をコピーする方法や、正規表現を使う方法、HTML と CSS の内容を元に独自のルールで意味的なまとまりを推定する方法 VIPS: A VIsion based Page Segmentation Algorithm など、一研究分野になるほど本当に様々です。 この記事では、そんな様々な方法の中から XPath (XML Path Language) を取り上げます。XPath は、その名の通り XML から必要な箇所を探索・抽出する為に用いられる言語ですが、HTML にも利用することができます。自分が普段 Web スクレイピングする時は、Python の lxml で XPath を使用しています。 Web スクレイピングで実際に想定される状況を例示しながら、X
Extract Data from XPath via Google Apps Script (Example)
You can get/extract data from a URL via Google Apps Script, Just pass the XPath and URL to monitor. I have setup a Script that continuously monitors YCombinator's Top post, When it changes I get a Mail with the link. function getDataFromXpath(path, url) { var data = UrlFetchApp.fetch(url); var text = data.getContentText(); var xmlDoc = Xml.parse(text, true); // Replacing tbody tag because app scri
HaskellでのXMLパース処理 - XPath使用 - なんとなくな Developer のメモ
今回は、id:fits:20100525 で実施したパース処理を Haskell で書いてみました。 環境は以下の通りで、XML の処理のために HaXml というライブラリをインストールしました。 GHC 6.12.1 HaXml 1.20.2 Haskell での XPath HaXml では、xmlParse で XML をパース、xtract で XPath を処理し、tagTextContent で要素内のテキストを取得できます。 tagTextContent の代わりに Text.XML.HaXml.Pretty の content を使えば要素全体を取得できます。 なお、xtract の型宣言が xtract :: (String -> String) -> String -> Content i -> [Content i] となっているため、(String -> Stri
XPath使うならxmlpathパッケージ - YAMAGUCHI::weblog
はじめに こんにちは、Go界の大杉漣です。いま、辻堂で合宿をしています。 xmlpathパッケージ GoでHTMLをパースしてごにょごにょしたいというときはgoqueryを使うことが多いですが、個人的にはあのコールバック書きまくるスタイルが好きではなく「そこまでjQueryの真似しなくてもいいだろ」と思っていました。 goquery - GoDoc またPythonで割とlxmlを使っていたこともあって、XPathを使うのが好きだったのでGoにも同様のXPathを扱えるパッケージがないかと探してみたらCanonical製のxmlpathというパッケージがありました。 xmlpath - GoDoc 使い方 めちゃくちゃ楽。ドキュメントにあるサンプルだとちょっと実用性がないので、もう少し実用性のある例。 resp, _ := http.Get("http://sample.com/conte
SpreadSheetでスクレイピング。Importxml他、便利な関数9+1 - Qiita
はじめに Livesense Advent Calendar 2015(その2) 、13日目を担当します、ktmgです。 ふだんはSEOなどやっております。 さて、Advent Calendar 2015。 「なんかエンジニアさんたちが楽しそうなことやってるなー」とハタから眺めていたのが昨年。 今年は職種不問にしたからなんか書け、という @masahixixi さんの指令を受け、はじめて投稿させていただきました。 本記事では「非エンジニアでもできる簡単スクレイピング 」というテーマにからめて、 Google SpreadSheetの便利な関数：9 Chromeの便利な機能：1（Copy XPath） をご紹介します。 素材・完成形 http://qiita.com/advent-calendar/2014/livesense 昨年の Advent Calendar を素材に、投稿記事一覧の
Firefox で XPath により要素を指定する - Firebug と FirePath を使って
1. アドオン Firebug と FirePath をインストールする Firefox で XPath により要素を指定したい。 XML Path Language – Wikipedia とは、 XML Path Language （XPath; XMLパス言語） は、マークアップ言語 XML に準拠した文書の特定の部分を指定する言語構文である。 予め Firefox に、以下２つのアドオンをインストールしておく。 Firebug FirePath 2. Firebug で対象要素を指定する 例えば、 Yahoo!モバゲーの日記一覧 において、記事タイトルのアンカー要素を XPath で指定する。 マウスポインタを、対象要素の上に置き、 右クリック > Firebug で要素を調査 を選択する。 より効率的に対象を選択するには、 マウスポインタを対象要素の上に置き、 Ctrl + Sh
Selenium 中級者になろう （変数＋XPath＋JavaScriptを，テストケース中で利用する方法） - 主に言語とシステム開発に関して
回帰テストツール「Selenium」の中級 Tips。 初級の使い方については 今から３分で selenium の使い方を身に付ける (回帰テスト自動化) http://language-and-engineering.hatenablog.jp/entry/20081016/1224080409 selenium 主なコマンド一覧 http://language-and-engineering.hatenablog.jp/entry/20081016/1224123118 で入門のこと。 Seleniumのより便利な使い方として，下記で （１）変数の使い方 （２）XPathの使い方 （３）テストケース中へのjavascriptの埋め込み （４）Ajaxアプリのテスト方法 を学ぶ。 まず，まとめを掲載。そのあとで，実際のテストでどう役立つのか詳しく解説する。 まとめ 要素の指定方法まとめ
Web::Query - jQuery風にスクレイピング - tokuhirom's blog
http://frepan.org/~TOKUHIROM/Web-Query-0.01/README.pod Web::Query というスクレイピングフレームワークをかきました。一言でいうと「うごく pQuery」です。pQuery は jQuery とおなじ動きにするためかどうかしりませんが、わりと自前で実装していて、結果まともにうごいていません。うごくようになるのをまってようかなとおもっていたら2年経過していたので、自分でつくってみました(パッチをおくってもいいのだけど、別個の実装をつくったほうがはやい気がしたので)。HTML::TreeBuilder::XPath + HTML::Selector::XPath + LWP::UserAgent という構成です。 使用例は以下のとおり。 use Web::Query; wq('http://google.com/search?q=f
ishideoのブックマーク / 2008年10月21日 - はてなブックマーク
ここギコ！: Xpathでページの好きなところにリンクするGreasemonkeyスクリプトのアイディアが気になったので、自作の実験版を書いてみました。今回は実験なので、http://*でunsafeWindowを使っています。安全ではないので、その点はご了承ください。 と、その前に、元記事にツッコミをしておこう。user.jsの場合、対象はFirefoxであると思うので、JavaScript-XPath は不要です。IE以外の主要ブラウザ(Firefox, Safari, Opera)は XPath を実装しています。JavaScript-XPathはIEとSafari2でXPathを使うためのライブラリです。 XPointerというそのものずばりな仕様があるらしい。後で調べる。 http://gist.github.com/17904 #TEXT=文字列とすると、その文字列が最初に含ま
Nothing is impossible : 簡単！たった８行のコードで HTML取得＆解析をするPythonスクリプト
June 07, 201010:49 カテゴリwork 簡単！たった８行のコードで HTML取得＆解析をするPythonスクリプト 簡単！たった１３行のコードで HTML取得＆解析をするPerlスクリプト を見てPythonならもっと簡単だなーと思ったので書いてみる。 import urllib2 from lxml import etree url = 'http://www.yahoo.co.jp' opener = urllib2.build_opener() opener.addheaders = [('User-agent','Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)')] tree = etree.parse(opener.open(url),parser=etree.HTMLParser()
Google App EngineでもXPathが使える！XPathEvaluator Extension for BeautifulSoup(BSXPath)をリリース - 風柳メモ
飽きる前にそれなりに形になったのでリリースしておきます Python 2.5*とBeautifulSoup 3.0.7* or 3.1.0*の環境でとりあえず動くXPathEvaluatorです。 アーカイブファイル(ZIP)：BSXPath.py： XPathEvaluator Extension for BeautifulSoup 上記ファイル(BSXPath.py）を使ったサンプルはこちら 【2009/04/05追記】 BSXPath.pyを使ったサービスを公開しました。 任意のサイトのフィードパターンを作成・共用できるサービス 使い方 from BSXPath import BSXPathEvaluator,XPathResult #*** 準備 document = BSXPathEvaluator(<html>) # html: HTMLテキスト # ※BSXPathEvalu
私製版、GreasemonkeyでXPathを楽に使う関数 @蕪浅録奏
Greasemonkey - Mozilla Firefox まとめサイト で、Dive Into Greasemonkey の日本語訳 (PDF)が公開されてます。 これは凄く良い仕事。いやマジで。超感謝。 で、それの28頁以下で、Firefox に組み込まれた XPath のサポートの使い方が説明されてまして、これで /getElements?By.+/ 地獄からおさらば出来るわけですが、 XPath を解釈するのに使う document.evaluate は引数がたくさんあって、生で使うのは面倒いです。 でも使う引数はクエリ部分以外は普通は決まってるので、30頁以下で、XPathを楽に使うために以下の関数を定義すると良いよね、とあります。
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
Scrapy | A Fast and Powerful Scraping and Web Crawling Framework
pip install scrapy cat > myspider.py <<EOF import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://www.zyte.com/blog/'] def parse(self, response): for title in response.css('.oxy-post-title'): yield {'title': title.css('::text').get()} for next_page in response.css('a.next'): yield response.follow(next_page, self.parse)EOF scrapy runspider myspider.py
WSH で HTML を XPath したいんじゃあああぁぁ - Wisteria::Diary
CompleteX で文脈依存のヘルプを表示するために、各種ライブラリ (たとえば 田楽 DLL) のドキュメントを INI ファイル形式に変換したい。ただし、できるだけロバストな記述で*1。具体的には 素の Windows + IE 環境で (不特定多数の一般ユーザーのマシンで*2 ) 必ずしも well-formed でない HTML 文書を対象として XPath を使って内容をスクレイピングしたい という、一見ありがちな要求。なんだけど……これが全く一筋縄では行かないどころか五筋縄以上かいくぐる羽目になりましたことよ。 結論 現在のところ Windows + IE だけでは不可能。サードパーティの XPath 実装を使えば可能。 0 筋縄: 方針の確認 まず、対象が純粋な XML なら簡単にできることを確認。 var dom = WScript.CreateObject("MSXML
JavaScript-XPathのMooTools用プラグインを作成 - 研究室
JavaScript、Ajax、HTML5(API)、Ruby…Web及び関連技術の実験&情報公開&制作物紹介。 Prototype.js で XPath を手軽に扱うためのプラグイン XPath for Prototype というものが公開されています。 作者の amachang さんのブログ の、プラグイン公開を紹介する記事に、「他のライブラリのプラグインに関して」という見出しでこんなことが……。 もし 誰か書いてくれる人がいればとてもありがたいなあ。。。とか思っています。 いませんよねいませんよね＞＜？ 面白そうなので、書いちゃいました(^-^) XPath for Prototype の MooTools 版、名付けて「XPath for MooTools」（まんま）。 【※2008/06/12 ver.0.2 にバージョンアップ】
XPath でページの好きなところにリンクする Greasemonkey Script の実験版 - os0x.blog
ここギコ！: Xpathでページの好きなところにリンクするGreasemonkeyスクリプトのアイディアが気になったので、自作の実験版を書いてみました。今回は実験なので、http://*でunsafeWindowを使っています。安全ではないので、その点はご了承ください。 と、その前に、元記事にツッコミをしておこう。user.jsの場合、対象はFirefoxであると思うので、JavaScript-XPath は不要です。IE以外の主要ブラウザ(Firefox, Safari, Opera)は XPath を実装しています。JavaScript-XPathはIEとSafari2でXPathを使うためのライブラリです。 XPointerというそのものずばりな仕様があるらしい。後で調べる。 http://gist.github.com/17904 #TEXT=文字列とすると、その文字列が最初に含ま
Template::Refine
This is Jonathan Rockway's blog, where he talks about Angerwhale, Catalyst, and Everything. I released the first version of Template::Refine today. Template::Refine is my attempt to resolve the eternal conflict between developers and web designers. I'm sure you've heard of this problem before. A developer and web designer want to work on a project together. The web designer only knows HTML, not pr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parse broken HTML with golang
Loading...