スクレイピングのためのNokogiri利用メモ - それはそれ、これはこれ
スクレイピングのチュートリアルを書いてみた。 参考：http://nokogiri.rubyforge.org/nokogiri/Nokogiri.html まだまだたくさんのクラスやメソッドがあるが(読んでない)、HTMLのスクレイピングに限定すれば多分これくらいで十分。 2014-02-16追記 なんかたくさんブックマークされていることに気づいたので、サンプルコードのRuby1.9/2対応のアップデート。 Mechanize周りも修正。WWW::Mechanize → Mechanize 等 (0) 前提知識 Ruby、HTML、DOM、CSSセレクタまたはXPath (1) クラス構造の理解 Nokogiri::HTML::Document < Nokogiri::XML::Document < Nokogiri::XML::Node < Object Nokogiri::XML::
Ruby Scraping - FrontPage
RubyによるWeb Scrapingライブラリの情報をまとめるためのWikiです。 Nokogiri HTMLをjQuery風に操作するライブラリ。Hpricotの書き直し版 Hpricot HTMLを「Rubyらしく」扱うライブラリ Mechanize Webサイトへ自動でアクセスするためのライブラリ scRUBYt! DSLを使って簡単にスクレイピングを行うライブラリ feedalizer htmlからRSSフィードを作るのに役立つライブラリ scrAPI パーサを定義することでHTMLを解析するライブラリ ウェブサイトから必要なデータを抽出すること。(Scrape = 削り取る) ライブラリによっては、受信したデータの解析だけでなくデータの送信にも対応している。 例： RSSを配信していないウェブサイトのHTMLをスクレイピングして野良RSSを作る Googleの検索結果をスクレイ
[Perl] HTML::TagParser - HTMLソースの解析／属性値やinnerTextの取得
Kawa.netxp [Perl] HTML::TagParser - HTMLソースの解析／属性値やinnerTextの取得 HTML::TagParser は、HTML ソースコードの解析を行う Perl モジュールです。 DOM 風のインターフェースで、各 HTML タグごとに属性値やinnerText値を取得できます。 Pure Perl 実装ですので、コンパイル不要で手軽に利用できます。 ページ中の特定のタグの内容を抽出したり、リンクを辿っていくスクリプトなどで利用できます。 Encode.pm バージョン 2.10～2.12 間で発生していた FB_XMLCREF 問題に対応しました。(2006/11/01) Encode::FB_XMLCREF でなく Encode::XMLCREF を利用します。（効果は同じです） 2.12 は既に最新バージョンではありませんが、Perl
WWW::Mechanize
Andy Lester <andy at petdance.com> Alastair Douglas Alexandr Ciornii Andreas Huber Andrew Grangaard Andy Lester Bernhard Wagner bscan Chase Whitener dakkar Dave Doyle David Precious David Steinbrunner dependabot[bot] Desmond Daignault Ed Avis Evan Zacks Ferenc Erki Flavio Poletti Florian Schlichting Gabor Szabo Gareth Tunley Gil Magno Graham Knop gregor herrmann Grigor Karavardanyan James Raspass
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Gmail scraping by using mechanize gem
