進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
scRUBYt!を使う - |▽￣)ノ なページ再帰
|▽￣)ノ なページ再帰 トップページページ一覧メンバー編集 scRUBYt!を使う 最終更新： niloufar 2011年06月13日(月) 21:31:21履歴 Tweet scRUBYt!を使う scRUBYt! は Web Spidering & Scraping ツールです。スクリプト言語 Ruby のライブラリです。 Web ページを取得/変換し、情報を取り出すツールの作成に使用します。ライセンスは GPL v2 です。 ここでは、 Windows におけるインストールの注意点、パッチ、トラブル、実例（の示唆）を提供します。使用した scRUBYt! のバージョンは 0.3.4 です。 詳細な解説はありません。経験の提供を目的としています。 目次 scRUBYt!を使う 目次 はじめに インストール 用意するもの gem install 環境設定 パッチ vc7tk ming
scRUBYt!をさくらのサーバに導入しようとしたら死ぬほど面倒くさい目に合ったでござるの巻 - かせいさんとこ
注意 長文ですよ！ 必要な部分だけ読んで帰るといいと思います これは何？ さくらインターネットのレンタルサーバに、scRUBYt!を導入して遊ぶにあたって苦戦したところのメモ書きです 同じ目で苦労している全ての人へ！ scRUBYt!って？ rubyのwebスクレイパーの中では比較的スタンダードなライブラリ 特徴としては、 XPath対応 formタグに値を入力して、表示された結果をスクレイピングしたり、webページの操作の自動化ぽい事ができる 詳しくはこの辺を参考に Ruby Scraping - scRUBYt! 他には、scrAPIとかが使われてるっぽいけど、XPathに対応していないので、今回はパス そっさくインストール gemが利用できる環境ならば、以下のコマンド一発。超簡単 %gem install scrubyt さくっとインストール失敗 chown/chgrp: Opera
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう
http://scrubyt.org/
