[B! scraping] Naruhodiusのブックマーク

RubyでWebスクレイピングするためのサンプル - t-taira blog

サンプルで使ったライブラリ gem install nokogiri gem install mechanize Nokogiri HTMLを操作するためのライブラリ tenderlove/nokogiri · GitHub Mechanize Webサイトへ自動でアクセスするためのライブラリ tenderlove/mechanize · GitHub HTMLを操作するサンプル型番で検索して、価格コムの最安値を出力するサンプル # coding: utf-8 require 'rubygems' require 'nokogiri' require 'open-uri' model_number = 'L32-V09' page = open("http://kakaku.com/search_results/#{model_number}/") html = Nokogiri::HT

Naruhodius 2012/04/29

リンク

スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった

Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ

Naruhodius 2011/06/08

scraping

リンク

いつのまにかpixivをうまくスクレイピングできなくなっていた - shimobayashiの日記

どうやらエラーを追っていくと、[pixiv] お知らせ - pixivが英語環境に対応http://www.pixiv.net/info.php?id=511の煽りで「ログアウト」の文字列が現れずログイン状態を確認できていなかったのが原因だった。どうやらこれは、HTTP_ACCEPT_LANGUAGEというHTTPのリクエストヘッダで指定するものっぽい。というわけでクローラー側でHTTP_ACCEPT_LANGUAGEを変更する方法を調べた。PerlのMechanizeの情報やらなんやらが錯綜しておりよく分からなかったが、Ruby - WWW::Mechanize::Chain::CustomHeaders - きたももんががきたん。http://d.hatena.ne.jp/kitamomonga/20080331/ruby_www_mechanize_chain_customheade

Naruhodius 2011/03/10

リンク

サーバサイドJavaScriptとjQueryでスクレイピング

jQuery でスクレイピングできたらセレクタ使えるし便利かなーと思ったりしたんですが、Rhino と env-js を使うと超簡単にできたのでレポートしてみます。 Rhino と env-js って何ぞい？ Rhino ってのは Java で書かれた JavaScript エンジンです。Rhino を使うとコマンドラインから JavaScript を実行できます。 Rhino には DOM が無いので単体では jQuery を実行することはできませんが、env-js という DOM ライブラリを使用するとこの辺はクリアできます。 env-js の中に jQuery を使ったサンプルがいくつか入ってますので、Java とか JavaScript とか詳しい方はそちらを見てもらった方が早いと思います。使ってみるまず env-js をビルドしないといけないのでその辺の手順から説明します。