タグ

Javascriptとscrapingに関するtotonのブックマーク (3)

  • Web::Scraperのjavascriptバージョンwebscraper.js - bits and bytes

    perlのWeb::Scraperみたいな記述で、ページの中からデータを取り出すwebscraper.jsという小さなjavascriptのライブラリを書きました。 ブックマークレット データを取り出したいページでブックマークレットでwebscraper.jsを読み込んでFirebugコンソールで使います。 ブックマークレット webscraper コードwebscraper.js つかいかた Web::ScraperのSYNOPSISで例としてあげられているebayでapple ipod nanoを検索した結果からデータを取り出すときは 検索結果ページで上のブックマークレットを呼び出してFirebugコンソールで取り出す部分を記述します。 こんなかんじ。 SYNOPSISのperlのコードで変数$ebay_auctionに一度代入されている部分をそのままインラインで書き直すと my $e

    toton
    toton 2010/03/29
    webscraper.js
  • js実装したHTML::Featureを使ってldr上でエントリ主要部分を見るgreasemonkeyスクリプト - koyachiの日記

    LDR x HTML::Feature in client – Userscripts.org 操作はeで選択したエントリを抽出、抽出した状態で再度eで折りたたみ。shift+eで文字コードを変えて再抽出。shift+eでの文字コード変更はshift_jis -> euc_jp -> utf-8を繰り返しです。デフォルトでutf-8で取得するのでutf-8以外の内容の場合に(2007-11-03)文字コードを自動検出して適切なコードに変更するようにしました。それでも文字化けしたらshift+eしてみてください。 TSUBUAN APIを使ったldr上でのEntryFullTextもどきをベースにしています。 HTML::Featureの詳細についてはHTML::Feature - 重要部分を抽出するモジュール - - ダウンロードたけし(寅年)の日記を参照ください。 ちなみにjavascr

    js実装したHTML::Featureを使ってldr上でエントリ主要部分を見るgreasemonkeyスクリプト - koyachiの日記
    toton
    toton 2008/06/01
    記事本文抽出
  • WSHでCSSセレクタのWEBのスクレーピング - それマグで!

    ここまでのまとめ。 WEBスクレーピングをCSSセレクタで遣るためにPerl入れますか?Ruby入れますか?PerlでWeb::ScraperやRubyでScrapiと同じ事をWSHでやればいいじゃん。わざわざWSHで?うん、わざわざ、してみた。 ActivePerlでCPANモジュール使うの面倒じゃん*1 WindowsRubyいれてパッケージ入れるのすら面倒(笑 WSHならJSだけで動くじゃん JScriptでWeb.Scraperを作ればいいじゃん。 休日を返上してうんうん唸って捻って考えた結果。どうしてもWSHからIEを使いたかった。 スクレーピングのテストとしてYahooから株価を取得することを考えた。 株価取得コード これを動作させるのが目標 //株価取得 var stocks = {}; stocks.NIKKEI = Utena.Scraper.YahooStock("9

    WSHでCSSセレクタのWEBのスクレーピング - それマグで!
    toton
    toton 2008/03/30
    "WSHならJSだけで動くじゃん JScriptでWeb.Scraperを作ればいいじゃん"
  • 1