クローラー運用を楽にするためのクラウドサービス比較 - ZOZO TECH BLOG
こんにちは！最近気になるニュースはスピノサウルスの尻尾の化石が発見されたこと1な、SRE部エンジニアの塩崎です。ZOZOテクノロジーズの前身となった会社の1つであるVASILYでは数多くのクローラーの開発・運用の担当をしてきました。 今回はその知見を生かして、クローラーを楽に運用するためのクラウドサービスを紹介します。 概要 データ解析を円滑に進めるためには、CSVやWeb APIなどの構造化されたデータが必要です。しかし全てのWebサイトにあるデータが構造化データを提供しているとは限りません。むしろ提供していないケースの方がはるかに多いです。そのため、Webクローラーを作成して構造化されていないWebページを解析し、構造化データを生成する必要があります。 しかし、Webクローラーの運用には数多くの「つらみ」があります。特に大量のWebページを1日1回などの頻度で定期的にクロールする際には
ファイルシステムにおける名指しと解釈：XPathを使って - 檜山正幸のキマイラ飼育記 (はてなBlog)
一昨日書いた記事、それと過去の2つの記事（↓）で扱っていることは、「プラットフォームやコマンドごとに、ファイル名／ディレクトリ名の解釈が違うよ」ってな話です。 cp, mvコマンドとcopy, moveコマンドの微妙な違い：実例とまとめ ディレクトリを再帰的にコピーするには 便利な厄介者： ディレクトリを指すシンボリックリンク 僕は、このような違いを個別の事例としては知ってましたが、系統的に考えたことはなかったです。そこで、LinuxのようなPOSIXベースのシステムとWindowsにおいて、名指しの方法や名前の解釈がどう違うかを例示してみます。XPath言語の小さなサブセット言語を使った形式的記述も紹介します -- これが本題ですので、鬱陶しい実例を飛ばして「XPath言語のサブセット」へ飛んでもいいです。 内容： ファイルシステムのツリー構造 Windowsのcopyにおけるファイル名
Ruby製の構文解析ツール、Nokogiriの使い方 with Xpath - プログラマでありたい
RubyでHTMLやXMLをパースする構文解析ツールの定番は、Nokogiriです。スクレイピングする際の必需品で、なくてはならないモジュールの１つです。ただ色々なことが出来る反面、どこから取りかかれば良いのか解り難い部分もあります。自習を兼ねて、Nokogiri概要と主要な機能を紹介してみます。 Nokogiriとは何か？ ReademeによるとNokogiriとは、「HTMLとXMLとSAXとXSLTとReaderのパーサー」で、特徴としては、XPathとCSS3セレクター経由で探索する機能を持つことのようです。他にもHTMLやXMLのビルダーの機能を持っていますが、HTMLとXMLのパーサー（構文解析器）と覚えておけばよいでしょう。 Nokogiriのクラス構造 Nokogiriは、なかなか巨大なライブラリです。10以上のモジュールと70以上のクラスで構成されていて、yardでダイア
JSONPath - XPath for JSON
[edit] [comment] [remove] |2007-02-21| e1 # JSONPath - XPath for JSON A frequently emphasized advantage of XML is the availability of plenty tools to analyse, transform and selectively extract data out of XML documents. XPath is one of these powerful tools. It's time to wonder, if there is a need for something like XPath4JSON and what are the problems it can solve. Data may be interactively found
XPath and XSLT with lxml
XPath and XSLT with lxml lxml supports XPath 1.0, XSLT 1.0 and the EXSLT extensions through libxml2 and libxslt in a standards compliant way. lxml.etree supports the simple path syntax of the find, findall and findtext methods on ElementTree and Element, as known from the original ElementTree library (ElementPath). As an lxml specific extension, these classes also provide an xpath() method that su
Google App EngineでもXPathが使える！XPathEvaluator Extension for BeautifulSoup(BSXPath)をリリース - 風柳メモ
飽きる前にそれなりに形になったのでリリースしておきます Python 2.5*とBeautifulSoup 3.0.7* or 3.1.0*の環境でとりあえず動くXPathEvaluatorです。 アーカイブファイル(ZIP)：BSXPath.py： XPathEvaluator Extension for BeautifulSoup 上記ファイル(BSXPath.py）を使ったサンプルはこちら 【2009/04/05追記】 BSXPath.pyを使ったサービスを公開しました。 任意のサイトのフィードパターンを作成・共用できるサービス 使い方 from BSXPath import BSXPathEvaluator,XPathResult #*** 準備 document = BSXPathEvaluator(<html>) # html: HTMLテキスト # ※BSXPathEvalu
私とXPath 最新2件
いままで日本語のAPIドキュメントがあるという理由でjavax.xml.xpath.XPathを使っていたのだけれども、隣の芝生であるところのorg.apache.xpath.XPathAPIが異様に青く見えて仕方ないので違いを調べてみた。 一番の違いは、前者はファクトリクラスで生成したオブジェクトを使ってXPath式を評価するのに対し、後者はスタティックメソッドを使ってXPath式を評価する点だと思った。あとはメソッドに渡す引数の型がjava.lang.Objectかorg.w3c.dom.Nodeかの違いとか、返ってくるのがjava.lang.Objectかorg.w3c.dom.NodeListかの違いとかそんなところ。ちょっと細かく見ていってみよう。 処理するXML <?xml version='1.0' encoding='UTF-8' ?> <diary> <titl
XPath Cheat Sheet
配列は0からではなく１から始まる（[1]から） 先頭が / から始まれば絶対パス、そうでなければ相対パス、//なら全要素が対象。 （）で評価順序を考慮する
XPathで名前空間URIを使う - Sunflat のブログ
XML Schemaがあるシンプルな構造のXMLデータは、JAXB(id:sunflat:20080430:p1)を使って簡単に読み書きできるけど、XML Schemaが無い場合や複雑に入り組んだXMLデータの場合は、XPathを使うと便利そう。 だた、XPathで、名前空間(namespace URI)のついた要素を検索するのが結構面倒っぽい。NamespaceContextインタフェースを実装したクラスを作れば良いみたいなんだけど。 とりあえず、NamespaceContextインタフェースを実装した以下のようなクラスを作って、 import java.util.ArrayList; import java.util.HashMap; import java.util.Iterator; import javax.xml.XMLConstants; import javax.xml.n
XML Path Language 1.0 (XPath 日本語訳)
土壌汚染問題を解決するフィールド・パートナーズがPlatio Connectを導入 労働安全衛生法に基づく点検業務のアプリ化で年間1,800時間の労働時間を削減
WWW::MechanizeとSeleniumIDEで勝手APIをかんたんに作る - bits and bytes
Selenium IDE で生成したテストケースに従ってWWW::Mechanizeを動かすためのラッパーモジュールMechanizedSelenium(仮称)を作ってみて、どれくらい使えるか試してみました。 背景 スクレイピングはもっと簡単にならなければいけないの最後でちょこっと触れていた、ウェブアプリケーションのテストケースを簡単に生成する Selenium IDE は、ブラウザでクリックしていくだけでデータを抜き出せてしまう Dapper: The Data Mapper と並んで考えさせられたツールです。 一度、ウェブアプリケーションのテストをするために HTTP::WebTest を使ってテストケースを書いたことがありました。しかし、ブラウザをマウスでちょこっとつつくだけの動作をperlで書き直すのは本当に退屈な作業ですし、テストケースを書くこと自体が困難で、アプリケーションにバ
Firebug に一行追記して右クリックで XPath をコピペ出来るようにする。 - IT戦記
この XPath 使いたい＞＜ って思うことよくありませんか？ サイト見てて、あ、このボタンにグリモンであんな機能やこんな機能付けたい＞＜！って思うこととかありますよね！ そんなときに、いちいち要素の位置とか考えずに右クリックで XPath をコピペできたら嬉しいですよね＞＜ ってことで 作ってみた イメージはこんな感じです。 これをクリックすると、右クリックされた要素の XPath がクリップボードにコピーされます。 この機能を Firebug に実装する手順 1. Firefox のプロファイルディレクトリに行く 環境 プロファイルディレクトリ WinVista C:\Users\[ユーザ名]\AppData\Roaming\Mozilla\Firefox\Profiles\[ランダムな文字].default\ WinXP C:\Documents and Settings\[ユーザ名
HTMLのドキュメントから繰り返し部分をみつける - bits and bytes
RSSを生成していないページからRSSを生成するなんでもRSS 0.1bは、公開されているJSAI2005: なんでもRSS - HTML文書からのRSS自動生成によると、日付情報を目印にしてそのHTMLドキュメントの構造を推測して、各エントリ(item要素)のタイトルと本文を単語の統計的に処理して決定し、フィードを生成していると書かれています。 ウェブ上にあるHTMLドキュメントは Ask.jp ： "xml" Search results. のように、RSSのitem要素に相当する部分に日付が含まれていないものもあります。 その中でも、大量のデータを複数のページにわけて表示しているHTMLドキュメントを対象に、ドキュメント中に含まれる繰り返し部分のXPathを生成するブログラムをjavascriptで作りました。 アプローチ 大量のデータを複数のページわけて表示しているドキュメントを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ericchiang/pup: Parsing HTML at the command line
XPathでソースコード検索
GitHub - garethr/django-test-extensions: A set of custom assertions and examples for use testing django applications
Google Code Archive - Long-term storage for Google Code Project Hosting.
XPath
IBM Developer
IBM Developer