スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ
散財.com - みずぴー日記
30分プログラム、その199。散財.comにプログラムから投稿する。 最近、散財.comを始めたんだけど、携帯から投稿できないのが面倒。そこで、メールを送るだけで投稿できるプログラムを作ろうと思う。 で、それの下準備としてWWW::Mechanizeを使って投稿してみる。 ソースコード #! /opt/local/bin/ruby # -*- mode:ruby; coding:utf-8 -*- # # 3zai.rb - # # Copyright(C) 2007 by mzp # Author: MIZUNO Hiroki / mzpppp at gmail dot com # http://howdyworld.org # # Timestamp: 2007/12/06 21:50:32 # # This program is free software; you can redi
Webページの本文抽出 (nakatani @ cybozu labs)
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 です。 【追記】大事なこと書き忘れ。本モジュールは Ruby1.8.5 で動作確認していますが、特別なことはしていないので、1.8.x なら動くと思います。 $KCODE="u" # 文字コードは utf-8 require 'extractcontent.rb' # オプション値の指定 opt = {:waste_expressions => /お問い合わせ|会社概要/} ExtractCont
scrAPIを試す。 - みずぴー日記
30分プログラム、その155。Rubyのスクレイピングツールキット scrAPIを参考に、scrAPIを試す。 最初は、URLを入力すると何人がLivedoor Readerとかで購読しているかを表示するWebサービスを作るつもりだったんだけど途中で面倒になった。なので、コマンドラインツールでどうぞ。 対応してるのは、 はてなブックマーク Livedoor Reader Fastladder の3つ。 使い方 $ ruby popluar.rb http://example.com/ Hatena Bookmark: 9 Livedoor Reader: 0 Fastladder : 0 $ ruby popular.rb http://d.hatena.ne.jp/mzp/ Hatena Bookmark: 6 Livedoor Reader: 49 Fastladder : 16exa
Ruby Scraping - FrontPage
RubyによるWeb Scrapingライブラリの情報をまとめるためのWikiです。 HpricotHTMLを「Rubyらしく」扱うライブラリ MechanizeWebサイトへ自動でアクセスするためのライブラリ scRUBYt!DSLを使って簡単にスクレイピングを行うライブラリ feedalizerhtmlからRSSフィードを作るのに役立つライブラリ scrAPIパーサを定義することでHTMLを解析するライブラリ ウェブサイトから必要なデータを抽出すること。(Scrape = 削り取る) ライブラリによっては、受信したデータの解析だけでなくデータの送信にも対応している。 例： RSSを配信していないウェブサイトのHTMLをスクレイピングして野良RSSを作る Googleの検索結果をスクレイピングして自動でGoogle検索するスクリプトを書く ブログの投稿ページを解析して、コマンドラインから
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
