Route 477(2007-11-11)
■ [ruby][event] 関西オープンソース2007でMechanizeとHpricotの発表してきました 関西オープンソース2007のユーザ企画のRuby関西枠で、15分ほどの 短い発表をさせていただきました。 内容はWWW::MechanizeとHpricotの簡単な紹介とデモです。 スライドを見る PDF もうちょっと時間をとってスライドを練ればよかったなぁ。(と毎回言っている気もするが…) ■ [web] SlideShare 今まで使ったことがなかったのだけど、なんとなく登録してみた。 感想： アップロードフォームがフルAjaxなのにプログレスバーが出てすごい(凝ってる) PDFをアップロードするときは、フォントを埋め込まないと日本語が表示されないのに注意 同じタイトルで再アップすると、URLに謎の数字が付加されて(´・ω・｀) (まあ、仕方ないのだけど) ファイルをダウン
Ruby Scraping - FrontPage
RubyによるWeb Scrapingライブラリの情報をまとめるためのWikiです。 HpricotHTMLを「Rubyらしく」扱うライブラリ MechanizeWebサイトへ自動でアクセスするためのライブラリ scRUBYt!DSLを使って簡単にスクレイピングを行うライブラリ feedalizerhtmlからRSSフィードを作るのに役立つライブラリ scrAPIパーサを定義することでHTMLを解析するライブラリ ウェブサイトから必要なデータを抽出すること。(Scrape = 削り取る) ライブラリによっては、受信したデータの解析だけでなくデータの送信にも対応している。 例： RSSを配信していないウェブサイトのHTMLをスクレイピングして野良RSSを作る Googleの検索結果をスクレイピングして自動でGoogle検索するスクリプトを書く ブログの投稿ページを解析して、コマンドラインから
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Greenbear Laboratory - Hpricot Showcase-Ja
