This domain may be for sale!
http://coderepos.org/share/wiki/jsAutoPageScraper 概要 ブックマークレット開発などにおいて、JavaScriptでのHTMLスクレーピングを支援します。検索結果などの複数のレコードをJavaScriptの配列に変換して取得できます。ページングを利用しているサイトでは、意識することなく複数ページにまたがってレコードを取得できます。 特徴 クロスブラウザで動作します。 スクレーピングする要素の指定にはXPathを使います。IEとかSafari2の場合はJavaScript-XPathをロードして使います。 AutoPagerizeとかLDRizeのSITEINFO形式(一部)を利用できます。 使い方 1. jsAutoPageScraperをcodereposからチェックアウトし、適当なサーバにアップします svn co http://svn.
あるページのある要素の絶対ロケーションパスを知りたい時は結構ある。 そんな時、いちいちページソースから追っていたら埒が明かないので 何かいい方法はないかと探していた。 Firefoxなら https://addons.mozilla.org/firefox/1095/とか https://addons.mozilla.org/firefox/1192/とかが あるけどOperaで使えそうなものは見つからなかった。 そこでbookmarkletとして作ってみた。 bookmarkletを実行するとページの上に細長いバーが出てくるので 適当にマウスカーソルを動かすとその直下にある要素の絶対ロケーションパスを表示する。 多少長い(669Bytes)のは我慢していただきたい。 また、はてなはbookmarkletのリンクを張れないので ソースコードを直接貼るのも許していただきたい。 bookmar
JavaScript-XPath とは JavaScript-XPath は、 DOM 3 XPath を実装していないブラウザに対して、実用的な速度で動作する DOM 3 XPath のエンジンを追加します。 一言で乱暴に言ってしまえば、どのブラウザでも document.evaluate って関数で XPath 使えるようになるよ!ってことです。 以下が公式サイトになります。 http://coderepos.org/share/wiki/JavaScript-XPath DOM 3 XPath ってなんなの!? めっちゃ簡単(で、ちょっとだけ適当)なDOM 3 XPath の説明をします><。 JavaScript でよく使う document.getElementById や document.getElementsByTagName って関数ありますよね? DOM 3 XPath
またまた知らなかった。勉強不足。 例えば <div class="foo"> <p> <span class="test1">title1</span> </p> <ul> <li>list1</li> <li>list2</li> <li>list3</li> </ul> </div> <div class="foo"> <div> <span class="test1">title2</span> </div> <ul> <li>list1</li> <li>list2</li> <li>list3</li> </ul> </div> <div class="foo"> <div> <span class="test2">title3</span> </div> <ul> <li>list1</li> <li>list2</li> <li>list3</li> </ul> </div>
日頃より楽天のサービスをご利用いただきましてありがとうございます。 サービスをご利用いただいておりますところ大変申し訳ございませんが、現在、緊急メンテナンスを行わせていただいております。 お客様には、緊急のメンテナンスにより、ご迷惑をおかけしており、誠に申し訳ございません。 メンテナンスが終了次第、サービスを復旧いたしますので、 今しばらくお待ちいただけますよう、お願い申し上げます。
As of Firefox 1.5, the JavaScript Console is used not only for JavaScript errors, but for CSS errors as well. This extension takes this into account by providing a simple possibility to display errors by type. Console² let's you display errors filtered by type (Errors, Warnings, Messages), language (JavaScript, CSS, XML) and context (Chrome, Content). Furthermore it provides a simple search box (a
Add-ons extend Firefox, letting you personalize your browsing experience. Take a look around and make Firefox your own.
まえに作ったWeb::Scraperのjavascriptバージョンwebscraper.jsとXPathをてきとうに作ってくれる機能を追加したwebscraperp.jsにHTMLのドキュメントから繰り返し部分をみつけてSITEINFOをつくるAutoPagerize Iteration Detectorみたいなみためをくっつけて、取り出したい部分をクリックしたらてきとうにXPathを生成してWeb::Scraperのコードにして出してくれるFirefoxのextensionを作りました。Firefox3専用です。ごめんなさい。 ダウンロード WebScraper IDE (for Firefox3) 使い方 今回もいつもお世話になっているスターバックスさんの店舗検索結果(住所・店名・条件から探す)を例に使い方をご紹介します。 WebScraper IDEをインストールするとツールメニュ
HTML::Selector::XPath をリリース CSS Selector in Perl とか subtech - Bulknews::Subtech - CSS selector to XPath あたりで議論していた CSS 2 Selectors to XPath コンパイラなモジュールをつくって、CPAN に HTML::Selector::XPath としてリリースしました。 使い方は naoya さんが先に書いてますが、HTML から正規表現を使うことなくスクレイプするのに便利。たとえば Mixi にログインしてマイミク最新日記と、1件目のタイトル、本文を抜き出すコードが、以下のようにかけます。 #!/usr/bin/perl use strict; use warnings; use utf8; use Encode; use HTML::Selector::XPat
参考: http://d.hatena.ne.jp/mofigan/20070727/1185463261 var SITEINFO = [ { url: 'http://.*amazon.co.+/gp/(best|move)', nextLink: '//td[@class="paginationCurPage"]/following-sibling::td[position()=2]/a', insertBefore: '//div[@class="list"]/following-sibling::node()', pageElement: '//div[@class="list"]', }, ] こんな感じに、まずはautopagerize.user.jsを修正して実験できる。 C:\Documents and Settings\eto\Application Data\Mozi
Web::Scraper はいたれりつくせりの仕掛けが仕込んであって、便利ですね。私が、割と良く使っている機能は以下 2 つです。 process の第一引数に、CSS セレクタだけでなく、XPath も指定できます。ただし、XPath を指定するときは先頭を必ずスラッシュ(/)で始めなければいけません。 process の第二引数以降の、値をどこから取得するかを指定する部分に、コード・リファレンスを置くこともできます。これを使うと、DOM ツリー中の値を加工して抽出することができます。 具体例として、デイリーポータルZのアーカイブ一覧の中からべつやくれいさんのエントリを抽出してみることにします。まず、アーカイブ・ページのエントリ部分を取り出してやると、こうなっています。 <TD width="580" valign="top" class="tx12px"> <P> <B><FONT c
\閉鎖予定のサイトも売れるかも?/ アクセスがないサイトもコンテンツ価値で売れる場合も… ドメインの有効期限を更新してサイト売却にトライしてみましょう
これは何? オンラインで利用可能な、XPath式の作成を補助するGUI型のエディタです。Microsoft Officeには数式エディタというものが付属していますが、それのXPath版みたいなものです。まあとりあえず使ってみてくださいな。 構成ファイルは以下の通りです。 xpath.xul(GUI) xpath.js(制御スクリプト) xpathEditor.js(モジュールその1:XPath式の生成処理) xpathParser.js(モジュールその2:XPath式の解析処理) xpath.css(スタイル指定) xpath.xml(バインディング定義) 画像 closebox.png(クローズボックス) dropmarker-down.png(ドロップ位置のマーカー) dropmarker-up.png(ドロップ位置のマーカー) Mozilla Suite/Mozilla Firefo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く