Librahack ： 容疑者から見た岡崎図書館事件
出来事の詳細 3/13 新着図書データベースを作るためクローリング＆スクレイピングプログラムを作成した ちょうどその頃、市場調査を行うためにECサイトのスクレイピングプログラムを作っていた。そのついでに、前々から構想していたLibra新着図書Webサービスを作ろうと思った。市場調査プログラムの一部をカスタマイズして、新着図書データベース作成プログラムを作った。この時、市場調査プログラムと新着図書データベース作成プログラムは同じプログラム内にあり、パラメータでアクションを指定して振り分けていた。 Webサービスを作ろうと思った動機は「なぜプログラムを作ったか」の通り。 Webサービスの概要は「どんなプログラムを作ろうとしていたか」の通り。 普段読む本を入手する流れ：1. Amazonの各カテゴリの売れ筋をチェックしてレビューを確認し読むかどうか決める（または、書評ブログや新聞などのメディアで
Perl が覚えられて胸もキュンとなるコードを書いてみた - おいちゃんと呼ばれています
なんか Perl でスクレイピングする記事が話題になっているようでして。 -簡単！たった１３行のコードでHTML取得＆解析をするPerlスクリプト - DQNEO起業日記 このブログの著者の人、いいな。と思う、ほんとに。僕も素直でありたいな、と。で、ちょっと遅くなってしまいましたが、便乗してみます。 **本日の教材 ただ、短く○○行で書くとかは得意分野ではないので、おたのしみ画像を手に入れる方向にもっていってみました。次のサイトを教材に。 -なんでもちゃんねる : 胸がきゅんとする女の子の画像 - ライブドアブログ 好みが合わなければ、サンプルコードの URL のところだけ変えてもらっても構いませんし。 **サンプルコード 下記のコードで胸キュン画像を GET できます。 |perl| ! /usr/bin/perl use strict; use warnings; use Web::S
Ruby Scraping - FrontPage
RubyによるWeb Scrapingライブラリの情報をまとめるためのWikiです。 HpricotHTMLを「Rubyらしく」扱うライブラリ MechanizeWebサイトへ自動でアクセスするためのライブラリ scRUBYt!DSLを使って簡単にスクレイピングを行うライブラリ feedalizerhtmlからRSSフィードを作るのに役立つライブラリ scrAPIパーサを定義することでHTMLを解析するライブラリ ウェブサイトから必要なデータを抽出すること。(Scrape = 削り取る) ライブラリによっては、受信したデータの解析だけでなくデータの送信にも対応している。 例： RSSを配信していないウェブサイトのHTMLをスクレイピングして野良RSSを作る Googleの検索結果をスクレイピングして自動でGoogle検索するスクリプトを書く ブログの投稿ページを解析して、コマンドラインから
それHpricot(ry - walf443's blog
あまりしっかり読んでなくてスルーしていたのですが， http://wota.jp/ac/?date=20070115#p01 で使われているような特定のページにCSSセレクタをかけるようなケースならまさにHpricotが適任だと思います。 ScrAPIの良いところはむしろ簡単にParser用のクラスを分かりやすく書けるところにあると思うので大量のページをクロールして定型のデータを貯めたりしようとする際にはあのAPIがいいなぁと思います。 ということで上のページと同じことをHpricotでやってみます。 require 'kconv' #=> true require 'open-uri' #=> true require 'hpricot' # 以下の例はversion 0.5以上を想定してます #=> true $KCODE = 'u' #=> "u" maiha = Hpricot.p
日本 Ruby 会議 2007 - rubyでする Web scrapping - Hpricot と mechanize そして scRubyt （朴 芝印）
rubyでする Web scrapping - Hpricot と mechanize そして scRubyt （朴 芝印） スピーカー 朴 芝印 - 延世大学化学工学科, 韓国 ruby-forum - forum.rubykr.org プロフィール - Ruby好きの大学生。 - Programming Rubyの韓国語版の翻訳。 講演時間 16：00〜16：30 講演者による資料 page: http://tisphie.net/typo/pages/RubyKaigi2007 PDF: http://tisphie.net/web-scraping.pdf 韓国の方ですが、とても日本語が上手で聞きやすかったです。 緊張しています＾＾ Rubyでやってること Rubyで自分のためのユーティリティを書いたりしています。 Programming Ruby韓国語版の翻訳（拍手） Web S
簡易翻訳「Web 2.0的データ抽出：Ruby/RailsでのScreen Scraping Episode 1」 | JAM☆ぱん
一定期間更新がないため広告を表示しています
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
下心で覚えるエッチな Perl - 若妻サイト「舞ワイフ」をスクレイピングしてみた - おいちゃんと呼ばれています